Нейросеть бредит, и делает это уверенно!

Она не скажет "я не знаю". По крайней мере по доброй своей воле! (Которой у неё нет)

Неправильный ответ, который звучит правдоподобно называется галлюцинацией.

Это похоже на галлюцинации у человека, но отличается тем, что
🔹У человека ложное ощущение, у нейросети ложное утверждение.
🔹Человек может страдать от галлюцинации, нейросеть ничего не переживает.
🔹Человеческая галлюцинация чаще говорит о сбое в норме работы мозга. Для нейросети это побочный эффект самого принципа её работы: правдоподобие не равно истине.

При обучении у модели нет цели «говори только правду». Её цель — хорошо подражать тому, как выглядят тексты: угадывать, какое слово или ответ вероятнее всего идёт дальше.

Если в запросе "Когда родился А. С. Пушкин? " модель не уверена, какая из дат «в 1799 году» и «в 1805 году» верна, такое обучение подталкивает её «разложить ставки» по нескольким правдоподобным вариантам, а не сказать «не знаю». Ответ «не знаю» в обычных текстах встречается редко, и обучение его почти не поощряет.
В результате модель иногда уверенно выдаёт одну из правдоподобных, но неверных дат.

Почему такая проблема вообще существует?

Ответ на этот вопрос приведет нас в математику.

Специалисты, которые обучают и настраивают ChatGPT анализируют ошибки модели с помощью вычислительной теории обучения. 😢

вот отрывок из их научной статьи:

"Мы рассматриваем общие множества ошибок E — произвольное подмножество правдоподобных строк X = E ∪ V; остальные правдоподобные строки V называются допустимыми (valid). Затем мы анализируем статистическую природу этих ошибок и применяем результаты к интересующему нас типу ошибок — правдоподобным ложным утверждениям, называемым галлюцинациями.
Распределение языка изначально выучивается по корпусу обучающих примеров, который неизбежно содержит ошибки и полуправду. Однако мы показываем, что даже если бы обучающие данные были безошибочны, оптимизируемые при обучении целевые функции всё равно приводили бы к генерации ошибок."

😭Не спешите плакать, если вы такие же гуманитарии как и я.