📊 Индекс Кода v1.1: обновили песочницу и добавили новые модели
Выкатили октябрьское обновление Индекса Кода.
Напомним, что это наш собственный бенчмарк для AI-агентов. Мы собрали 261 задачу из 10 открытых агентных бенчмарков по трём категориям: разработка, проектирование ПО и анализ данных. Агент решает каждую задачу в изолированной песочнице за десятки шагов, а результат проверяется автоматически. Так мы сравниваем на одних задачах модели и агентные оболочки: и свои, и чужие.
🌐 Закрыли дыры в песочнице
Нашли случаи, когда агенты выходили в интернет и подсматривали готовые решения. Теперь сеть доступна только через фильтр: зависимости ставятся, а ответ к задаче скачать нельзя. Все задачи, где агент что-то подсмотрел, перезапустили. Если перезапустить задачу не получилось, она засчитывается как нерешённая. Прошлые результаты пересчитали по новым правилам.
📈 koda-pro: 47,3% → 51,6%
Это +4,3 п.п. к сентябрю, а с июля (40,6%) модель выросла на 11 п.п. По разработке у koda-pro лучший результат во всей таблице — 84,8%.
🆕 Новые участники
Замерили deepseek-v4.1-flash и claude-haiku-5.5, каждую ещё и в её родной оболочке:
• deepseek-v4.1-flash в deepseek harness: 52,1%. Это первая строчка таблицы, на 0,5 п.п. выше koda-pro
• claude-haiku-5.5 в claude code: 47,6%, в koda: 47,0%
🔗 Полная таблица по моделям, оболочкам и категориям, а также методология и примеры задач: https://kodacode.ru/benchmarks
Источник