Насколько сильно дети тупеют от ИИ?
Дженсена Хуанг сходил на подкаст с Эзрой Кляйном из NYT. Там глава Nvidia признался, что не помнит свой домашний адрес и почтовый индекс. Я, кстати, свой индекс тоже не знаю - где мой контрольный пакет Nvidia, а?
Так вот, Хуанг это сказал в контексте одного конкретного исследования. СМИ его назвали "китайским" (исследование, не Хуанга), хотя делали его западные экономисты из Стокгольма и Гонконга. Но вот данные действительно были по китайским школьникам. Ну, потому что там нашли идеальный датасет - в одном из округов в центре страны домашка сдаётся полностью онлайн, система пишет время на каждое задание, и все экзамены лежат в единой базе. Для учёных это редкая удача. Вот разбор самого исследования.
Цель - проверить, как ИИ влияет на успеваемость школьников. Спойлер: довольно-таки катастрофически.
Методология такая. Почти 27 тыс. школьников из 7-12 классов (средняя и старшая школа, без малышей). Период 30 месяцев - с осени 2022, когда ИИ ещё никто не юзал, до лета 2025, когда им пользовались 80%. При этом, дети начинали "ИИзироваться" в разное время, поэтому у каждого, кто начал, учёные смотрели его же оценки "до и после" - а потом вычитали из этой разницы то, как за те же самые месяцы менялись оценки у тех, кто ещё не начал учиться с чатботиком. Таким макаром отсекли всё, что падает и без ИИ (например, из-за усложнения программы, изменения экзаменов, общей просадки по конкретной школе и т.д.). И вот то, что осталось - плюс-минус эффект от ИИ.
Ключевые выводы:
1. Домашку в среднем стали делать лучше на 18% и на треть быстрее. Но "закрытые" экзамены ("закрытые" = в аудитории под присмотром, без Дипсика, интернета и учебников, а только своей головой) просели на 20% уже через полгода. Вступительные тоже минус 18-24%.
2. Дело в ИИ как таковом, а в аутсорсинге вообще. 4 из 5 ИИ-юзеров делали домашку быстрее самых быстрых "безИИшных" - но при этом валили экзамены. А те, кто тратил на неё столько же времени, что и раньше (даже если учился с ИИ - но использовал его не как решалку, а скорее как репетитора) - не потеряли ничего.
3. Отличники страдают сильнее: минус 24% против минус 16% у слабых. Видимо, активнее гонятся за идеальным ответом. Либо более умные школотроны просто быстрее поняли, какую кнопку в Дипсике нажимать и куда домашку грузить 🤔
4. И самое неожиданное - сильнее всего просела гуманитарка. Обществознание, история и география - минус 25-27%, а математика и прочий STEM - минус 20-22% (тоже сильно, но не так). Почти все предыдущие замеры были в основном про STEM, а самый сильный удар не по ним.
Возникает вопрос: если эффект такой сильный, то почему никто не бил тревогу? Учителя что - слепые? Скорее всего проблема в том, что конкретный учитель видит ребёнка только на своём предмете, а там -20% это в целом не аномалия, такое бывает. Мало ли, интересы у растущего человека смещаются, или ещё что. А директорам и завучам мысль "сверить эффект от ИИ между разными предметами" на педсовете (или как в Китае это называется), видимо, в голову не приходит.
Насколько китайские учебные реалии с их культом экзаменов переносятся на весь мир - большой вопрос. Но другие страны тоже чувствуют. Например, премьер Норвегии объявил почти полный запрет genAI для детей 6-13 лет, а для 14-16 лет - только под присмотром учителя.
Я не уверен, что это разумное решение. Больше похоже на технодумерский страусиный движ. Думаю, корень проблемы даже не в ИИ. В посте про домашку я писал, что главное свойство ИИ - персонализироваться до тотального комфорта юзера. А усвоение знаний и навыков наоборот работает через дискомфорт. В этом китайском исследовании 19% школьников сохранили дискомфорт (сидели над задачей столько же, сколько без ИИ - даже если и с чатботом) - и они ничего не потеряли. Остальные "купили" себе дешёвый комфорт, но заплатили падением способностей.
Вопрос не в нейронках как таковых, а в том, как в новых учебных реалиях сохранить продуктивный волшебный пинок, заставляющий не сидеть на заднице ровно.
Дизраптор