«Поле чудес» для нейросетей: «Яндекс» выложили в опенсорс новый бенчмарк

▫️ Инженеры «Яндекса» и студенты Школы анализа данных (ШАД) разработали и выложили в открытый доступ MTGBench — набор тестов для оценки многошаговых рассуждений нейросетей. Бенчмарк оценивает не только правильность конечного ответа, но и за сколько шагов модель к нему пришла.

В набор входят семь текстовых игр из десятков шагов. Среди них — «Поле чудес», «Данетки», «Элиас», Wordle и другие. Задания проверяют, умеет ли модель:

▫️ логически рассуждать;
▫️ использовать новые данные;
▫️ планировать следующие шаги;
▫️ не противоречить своим прежним ответам;
▫️ применять знания и анализировать подсказки.

В четырёх играх правильность решений проверяют алгоритмы, в остальных — ИИ-судья, качество работы которого дополнительно проверили люди. Это важно: бенчмарк не сводится к одному общему баллу, а показывает, где именно модель сильна или слаба.

Не только MTGBench

▫️ Как рассказал Forbes руководитель научной группы «Мультимодальные архитектуры ИИ» Института AIRI Ярослав Беспалов, похожим образом устроены AgentBench или InteractiveBench. Но авторы MTGBench показали полезное наблюдение: если дать модели больше времени на размышления, качество растёт неодинаково.

Сооснователь онлайн-университета «Зерокодер» Кирилл Пшинник считает такие бенчмарки полезными, но напоминает: практический вопрос для бизнеса шире — какая модель и какой режим работы обеспечат нужное качество за разумные деньги.

▫️ Более доступная модель с правильно организованными проверками может оказаться выгодным решением. Но возможна и обратная ситуация: модель застревает в исправлениях, расходует всё больше токенов и так и не достигает приемлемого качества. Низкий тариф в таком случае не даёт экономии.

Подписывайтесь на AI для бизнеса