📊 Читал препринт про агентов и зацепился за цифру: треть ответов…

📊 Читал препринт про агентов и зацепился за цифру: треть ответов инструментов до модели не доехала. Причём окно было почти пустым — в самом длинном запросе из 720 прогонов занято 5,75%. Агент искал причину сбоя по трассировкам ядра, а прослойка-обвязка, то есть код, который передаёт ему ответы инструментов, резала каждый ответ по фиксированной длине символов. Обрезанный кусок превращался в битый JSON — текст, из которого уже ничего не вычитать. Резка не сокращает ответ равномерно, она сносит то, что ближе к концу: одно поле дошло до модели в 4,7% вызовов, соседнее в тех же самых ответах — в 99,3%. Дальше авторы поставили контрольный опыт. Агент всё ещё находил верный ответ, если был обходной путь, но тратил на 43% больше обращений к инструментам и вдвое больше вычислений, а доля успешных прогонов падала с 0,61 до 0,31. Из семи проверенных каркасов для агентов два режут так же. Все меряют окно. Режут трубу.

#ИИ #агенты #данные