Краш-тест 8 LLM на задачах RuStore
Публичные бенчмарки помогают сравнивать возможности LLM, но не всегда показывают, как они справятся с задачами конкретного проекта. Поэтому мы провели собственный эксперимент на коде RuStore: взяли 9 задач из истории Android-проекта и протестировали 8 LLM из четырёх семейств: три версии GPT, три Claude, DeepSeek Flash и Grok 4.7.
Все участники работали в одинаковых условиях, а при оценке мы учитывали не только качество решения, но и скорость работы и стоимость запуска через API.
В новом исследовании разбираемся:
🔹какая LLM лучше справляется с реальными задачами разработки
🔹насколько отличаются результаты моделей внутри одного семейства
🔹кто выигрывает по скорости, а кто — по стоимости
🔹насколько результаты на реальном проекте совпадают с ожиданиями от публичных бенчмарков
🔗 Читать
Публичные бенчмарки помогают сравнивать возможности LLM, но не всегда показывают, как они справятся с задачами конкретного проекта. Поэтому мы провели собственный эксперимент на коде RuStore: взяли 9 задач из истории Android-проекта и протестировали 8 LLM из четырёх семейств: три версии GPT, три Claude, DeepSeek Flash и Grok 4.7.
Все участники работали в одинаковых условиях, а при оценке мы учитывали не только качество решения, но и скорость работы и стоимость запуска через API.
В новом исследовании разбираемся:
🔹какая LLM лучше справляется с реальными задачами разработки
🔹насколько отличаются результаты моделей внутри одного семейства
🔹кто выигрывает по скорости, а кто — по стоимости
🔹насколько результаты на реальном проекте совпадают с ожиданиями от публичных бенчмарков
🔗 Читать