Рейтинг кодинг-агентов стал жёстче: средний балл упал с 54,8 до 47,4

Artificial Analysis выпустила Coding Agent Index v2.0. Оценивается не модель, а связка «модель + оболочка» (Claude Code, Codex, Muse Code и другие): 290 задач, три бенчмарка с равным весом.

Главная замена — FrontierCode v1.1 от Cognition вместо DeepSWE. Это 100 задач в реальных open-source репозиториях, и засчитывается только изменение, которое мейнтейнер принял бы в merge.

Топ-3:
1. Claude Code + Opus 5.5 (max) — 61,7
2. Sonnet 5.5 (max) — 59,3
3. Muse Code + Muse Wonder Full (max) — 58,9

Из 21 конфигурации, измеренной в обеих версиях, просели 20. Самое интересное — цена: DeepSeek V4.1 Flash набирает 47,3 при $0,39 за задачу, Opus 5.5 — 61,7 при $11,42. Почти в 30 раз дороже за +14 баллов.

С цифрами v1.5 сравнивать нельзя: методика другая.

Источник: https://aicoder.com/news/news-20261023-artificial-analysis-coding-agent-index-v2-frontiercode