Скажите это вслух
Почему в мире с ИИ проверять знания стоит как на устном экзамене

В 2002 году Леонид Розенблит и Фрэнк Кейл провели эксперимент. В нем участники сначала оценивали, насколько хорошо понимают устройство привычных вещей вроде молнии на одежде, сливного бачка или цилиндрового замка. Потом их просили письменно и пошагово объяснить механизм, после чего они оценивали свое понимание заново. В результате эксперимента исследователи описали эффект объяснительной глубины.

Суть его в том, что наша уверенность в том, что мы что-то знаем, сильно пошатывается в тот момент, когда нас просят это объяснить словами. То есть когда нас просто спрашивают «Ты знаешь, как это работает?», мы часто отвечаем утвердительно. Но нам это только кажется. Как только приходит второй вопрос с просьбой рассказать, становится понятно, что все не совсем так радужно.

Я вот себя проверила на вопросе про двигатель внутреннего сгорания. Я вроде как была уверена, что знаю, а вот объяснить не смогла. Заодно, кстати, разобралась.

А всплыл этот эффект в моей голове потому, что я начала сильно думать о том, как теперь проверять знания слушателей. Какое такое задание можно дать, которое за слушателя ИИ не сделает?

У меня нет иллюзий о том, что если задание интересное, а человеку важна тема обучения, то он обязательно будет делать это сам. Мы склонны срезать углы. И не только в школе. Во взрослом обучении срезать углы - это порой единственный способ хоть что-то успеть. Потому что в этой самой взрослой жизни у нас столько всего происходит, что, когда однажды вечером нам нужно срочно доделать какое-то учебное задание, а у нас и дети, и платежи, и уборка, и еще куча всего, мы сдаемся. Конечно, только сегодня и, конечно, только в этот раз. Но мы же знаем, что у нас очень много похожих вечеров.

А еще есть и те, кто будет так делать намеренно, потому что так проще. И вот тогда возникает вопрос: как теперь вообще что-то проверить? Если раньше можно было положиться на эссе, которое пишется от первого лица, то сейчас и про него можно забыть.

А вот воспроизведение голосом пока, похоже, остается. Когда один живой человек спрашивает другого живого человека, то он почти точно поймет, читает тот по бумажке или выучил что-то наизусть. Если же еще задавать не самые ожидаемые вопросы или цепочку вопросов, то есть все шансы понять, что на самом деле человек знает.

Эта же техника проявляет понимание вопроса как раз в логике эффекта объяснительной глубины. И как будто мы так можем и проверить, что человек это извлекает сам, и вообще понять, что есть в голове.

Но это пока гипотеза. ИИ и то, как он влияет на обучение, пока задают очень много вопросов, на которые не так много ответов.