Закрытые модели ушли в отрыв

В предыдущей версии рейтинга Artificial Analysis модель Kimi K3.1 Pro отделяли от лидера всего три балла. После обновления — уже 12. Компания опубликовала подробный разбор Intelligence Index v5 , в котором открытые модели резко отдалились от закрытых.

Главное изменение: теперь 60% веса индекса приходится на проверки с непубличными заданиями или скрытыми ответами. Это снижает риск попадания тестов в обучение. Одновременно компания обновила набор заданий: добавила проверки программирования и научной работы, пересмотрела тесты знаний и рассуждений.

В результате Gemini 4 Carbon набирает 59 баллов, Claude Opus 5.5 — 58, GPT-6 Astra — 57, GPT-6.1 Sol — 55. У Kimi — 46, причём её веса пока только обещаны. Среди моделей с уже опубликованными весами лидируют DeepSeek V4.1 Flash 1017 и GLM-5.3 с 32 баллами — ниже Claude Haiku 5.5, у которой 36.

Один из новых экзаменов — приватный FrontierCode 2.0: агенту нужно изменить код в реальном репозитории так, чтобы ответственный разработчик принял его работу. Просто пройти тесты недостаточно. Здесь Opus получает 46%, последняя Gemini — 41%, а лучшая открытая модель, DeepSeek — всего 28%. Ay, cabron!

@anti_agi