🧩 IBM и Kaggle проверяют, сохраняют ли AI-агенты поведение…

🧩 IBM и Kaggle проверяют, сохраняют ли AI-агенты поведение Java-приложений
27 октября 2026
IBM объявила о сотрудничестве с Kaggle вокруг ScarfBench — существующего бенчмарка переноса приложений между Jakarta EE, Quarkus и Spring. По сообщению IBM, Kaggle участвовала в проектировании проверки, самостоятельно повторила прогоны на своей платформе и будет поддерживать обновляемую таблицу результатов. Публичная отправка моделей на оценку при анонсе ещё не доступна.
В опубликованном срезе IBM — 204 задания и десять сочетаний модели с агентной средой. Проверяются сборка, запуск и поведение приложения: например, сохранение маршрутов, HTTP-ответов и работы с данными.
Главная находка — 535 из 745 классифицированных неудачных прогонов, около 72%, пришлись на нарушения поведения во время работы. Среди примеров: потерянные адреса страниц, ответы 404 и оставшаяся настройка старого фреймворка. Этот процент относится к неудачным прогонам, а не ко всем миграциям.
Результат зависит и от модели, и от управляющей агентной среды. Метрика smoke-test учитывает частично пройденные тесты с разным весом; её нельзя читать как долю полностью успешных переносов. Для команды модернизации это ориентир при выборе проверки: после сборки нужны сценарии, подтверждающие поведение приложения. Готовность произвольной системы к эксплуатации такой набор не гарантирует.
Снимок публичной таблицы Kaggle: 28 октября; её состав может меняться относительно среза IBM.
Исследование IBM · Таблица Kaggle · Описание методики
#AIАгенты #Разработка #Java