Там OpenAI опубликовали новый ресёрч: оказывается, нейронки…

Там OpenAI опубликовали новый ресёрч: оказывается, нейронки галлюцинируют и врут не потому что "чугунные шизоиды на транзисторах", а потому что их ещё при обучении натаскали угадывать ответы, а не честно говорить "Я не знаю ответ на этот запрос".

Представить это легко, вспомните себя в школе/универе во время какого-либо экзамена. Вы не знаете, например, сколько ног у медузы, но если написать от балды "тринадцать с половиной", есть шанс тупо угадать и получить балл. Если же написать "не знаю" — это сразу ноль баллов. Вот нейроночки живут по такому же мясному принципу.

Проблема в том, что бенчмарки ИИ-моделей сейчас оценивают модели по количеству правильных ответов. Поэтому лучше быть уверенным дебилом, чем скромным умником.

OpenAI предлагают менять правила: штрафовать модельки за наглую чушь, награждать за честное «я не уверен/я не знаю». Пример: старая модель угадывала точнее, но врала в 3 раза чаще. Новая — чаще молчит, зато меньше выдумывает.

Короче, галлюцинации — это не баг, а математика. Модель не может знать всё, но может научиться не строить из себя всезнайку.

Идеал будущего: чат-бот, который отвечает на 90% вопросов словами "Братан, я не в теме, не знаю ответ на твой вопрос, иди сам погугли" но зато ни разу не обманывает.

тут сама статья