В тесте 12 ИИ-агентов утечки данных достигали 94,4%

Авторы препринта представили AgentCIScope — тестовую платформу, где агенты выполняют многошаговые задачи в разных приложениях. Она оценивает контекстную целостность: соблюдает ли агент правила, определяющие, кому и в какой ситуации можно раскрыть данные.

В 936 задачах авторы проверили 12 агентов: доля утечек за один запуск составила от 32,5% до 94,4%. При пяти повторах каждой задачи она выросла ещё на 4–19 процентных пунктов.

Результаты выполнения задачи сами по себе не показывали, насколько агент соблюдает ограничения на раскрытие данных. Частота утечек заметно различалась в зависимости от типа информации и приложения.

Для команд, внедряющих агентов в рабочие приложения, такой тест может дополнить оценку успешности задач проверкой того, куда и при каких условиях уходят пользовательские данные.

Это препринт: результаты и выводы заявлены авторами и не означают, что все агенты одинаково ведут себя в реальной работе.

Артём · Пинзес AI