Как проверить понимание, если студент использовал LLM

Если студент использовал языковую модель (LLM), хорошо выполненная работа сама по себе ещё не позволяет уверенно судить, насколько он понял предмет.

Именно поэтому в педагогическом эксперименте я сознательно разделяю четыре аспекта, которые легко смешать в одну оценку:

— корректность самой инженерной работы;
— проверку источников, расчётов и решений;
— прозрачность использования ИИ;
— понимание материала.

Последний пункт я проверяю отдельно — короткой мини-защитой без ИИ.

Не пересказом всей работы, а несколькими вопросами по ключевым решениям.

Например, студент должен объяснить физический смысл выбранного решения и его ограничения, обосновать исходные параметры или показать фрагмент расчёта, который он перепроверял после использования ИИ.

Для меня здесь важен принцип: качественно оформленный результат и понимание — не одно и то же.

Но и обратная крайность неверна: сам факт использования LLM ещё не означает, что студент «не работал сам».

Гораздо полезнее проверить три вещи:

что он получил;
как он это проверил;
может ли он объяснить, почему результат имеет смысл.

Эксперимент ещё продолжается, поэтому выводов о том, улучшает или ухудшает LLM понимание инженерной дисциплины, я пока не делаю.

Но уже на уровне методики меняется сам объект оценки.

Если часть работы выполняется с ИИ, оценивать нужно не только готовый документ, но и способность человека проверить, объяснить и защитить полученный результат.

И это, кажется, относится уже не только к студентам.