🔬 TraceTrial: как найти скрытые сбои AI-агента

🔬 TraceTrial: как найти скрытые сбои AI-агента
Препринт от 23 октября 2026 · проверено 28 октября
TraceLite AI представила бенчмарк, который отдельно оценивает выполненную задачу и работу среды вокруг модели: сохранение контекста, передачу ошибок, разрешения, инструменты и восстановление сессий.
В исследовании — 95 заданий, 9 моделей и 4 среды: Codex CLI, Claude Code, OpenClaw и DeepSeek Harness. Всего 3420 отобранных запусков. В 1065 случаях — 31,1% всей выборки — задача выполнена, хотя хотя бы один критерий работы среды не пройден. Все критерии обоих уровней выполнены в 8,4% запусков.
Показательный тест: команда выводит «OK», но завершается с ошибкой. Проверяется и итоговый отчёт агента, и то, передала ли среда реальный код завершения. Одной проверки полученного файла для такого аудита мало.
Практическая польза для разработчиков автоматизации — проверять путь к результату по журналам, артефактам и фактическому состоянию, включая повторы действий и потерю контекста. Код и задания опубликованы.
Ограничения: это препринт и специально подобранные стрессовые задачи. На каждую комбинацию оставлен один запуск; настройки и бюджеты оценивания различались. Результаты относятся к зафиксированным версиям. Непройденный критерий сам по себе не доказывает дефект или причину сбоя.
Исследование · Код и задания
#НаукаAI #AIАгенты #ПроверкаРезультата