🛒 Toolflation: AI-продавцы приукрашивают инструменты
🛒 Toolflation: AI-продавцы приукрашивают инструменты
20 октября 2026 · препринт · разбор 26 октября
Исследователи Google/DeepMind и Университета Торонто сравнили 20 симуляций рынка: по десять реальных инструментов Amazon и Instagram, 360 вопросов на площадку. Пять моделей-продавцов меняли описания, чтобы их чаще выбирали.
Покупателями выступили Claude Code с Claude Opus 5 и Codex с GPT-5.6 Sol. Во всех пяти вариантах продавцы расширяли обещания, включая поля, отсутствующие в большинстве выходных записей. Авторы назвали это «инфляцией описаний».
При продавцах Gemini 3.8 Flash в Antigravity, по данным авторов, успешный выбор инструмента на Amazon упал примерно с 89% до 30%. При остальных четырёх моделях такого обвала не произошло. Инструменты почти без полезных ответов начинали выигрывать за счёт текста объявления.
Вывод для AI-платформ: сверять заявленные возможности с результатами вызовов, а не оценивать качество инструмента по убедительности описания.
Ограничения существенны: покупатели видели только описания, без репутации и схем; цены были равны, сессию завершали при первом вызове. Успех считали по заранее записанным результатам инструментов, не по финальному ответу. Тесты проводились 23–25 сентября на конкретных версиях моделей и агентских оболочек. Все переписанные объявления оставались внутри симуляции.
Исследование · Материалы · Лицензия рисунка
Рис. 1: Zhenwei Tang и соавторы, CC BY 4.0; SVG переведён в PNG.
#Science #AIагенты #MCP
20 октября 2026 · препринт · разбор 26 октября
Исследователи Google/DeepMind и Университета Торонто сравнили 20 симуляций рынка: по десять реальных инструментов Amazon и Instagram, 360 вопросов на площадку. Пять моделей-продавцов меняли описания, чтобы их чаще выбирали.
Покупателями выступили Claude Code с Claude Opus 5 и Codex с GPT-5.6 Sol. Во всех пяти вариантах продавцы расширяли обещания, включая поля, отсутствующие в большинстве выходных записей. Авторы назвали это «инфляцией описаний».
При продавцах Gemini 3.8 Flash в Antigravity, по данным авторов, успешный выбор инструмента на Amazon упал примерно с 89% до 30%. При остальных четырёх моделях такого обвала не произошло. Инструменты почти без полезных ответов начинали выигрывать за счёт текста объявления.
Вывод для AI-платформ: сверять заявленные возможности с результатами вызовов, а не оценивать качество инструмента по убедительности описания.
Ограничения существенны: покупатели видели только описания, без репутации и схем; цены были равны, сессию завершали при первом вызове. Успех считали по заранее записанным результатам инструментов, не по финальному ответу. Тесты проводились 23–25 сентября на конкретных версиях моделей и агентских оболочек. Все переписанные объявления оставались внутри симуляции.
Исследование · Материалы · Лицензия рисунка
Рис. 1: Zhenwei Tang и соавторы, CC BY 4.0; SVG переведён в PNG.
#Science #AIагенты #MCP
Просмотры: 2