❓Рассуждать или не рассуждать — вот в чём вопрос. И чтобы на него…

❓Рассуждать или не рассуждать — вот в чём вопрос. И чтобы на него ответить, мы создали и выложили в открытый доступ MTGBench. Это набор тестов для нейросетей — он помогает оценить, в каких случаях моделям нужны длительные рассуждения и как хорошо они с ними справляются.

↘️ MTGBench доступен на GitHub. Компании и разработчики могут использовать его для тестирования и сравнения моделей.

Бенчмарк подготовили исследователи Яндекса и студенты Школы анализа данных. Они рассказали о MTGBench в статье, которую приняли на международную научную конференцию EMNLP 2026. Работу бенчмарка протестировали на 16 нейросетях, среди них — модели OpenAI, Google, DeepSeek и Qwen.

Подписывайтесь 👉 @yandex