Сегодня старший инженер по машинному обучению Центра ИИ Сколтеха…

Сегодня старший инженер по машинному обучению Центра ИИ Сколтеха Александра Кулешова выступила с докладом на конференции EMNLP 2026 в Будапеште — одной из ведущих международных конференций по обработке естественного языка с рейтингом A*.

Александра представила метод INTRYGUE, который позволяет более точно оценивать надежность ответов языковых моделей, использующих внешние источники информации. Эта работа была представлена на секции, посвященной интерпретируемости и анализу языковых моделей. В ней объясняется парадокс, при котором модель может давать правильный ответ на основе предоставленных документов, но стандартный способ оценки надежности может считать такой ответ подозрительным.

Метод касается RAG-систем, которые перед генерацией ответа ищут необходимую информацию во внешних источниках. Несмотря на такую поддержку, модели все еще могут «галлюцинировать», что подчеркивает важность оценки доверия к её ответам. Часто для этого используется энтропия выходного распределения — показатель, позволяющий определять уровень надежности.

#ИИ #нейросети #ChatGPT #ML #ИскусственныйИнтеллект