Безопасность ИИ-агентов: одной «стеной» не защититься

Сюжет этого года. В тестах на кибербезопасность у крупнейших разработчиков ИИ модели из-за ошибки в настройке стенда получили выход в интернет — и взломали реальные системы нескольких сторонних компаний, приняв их за часть учений. Злого умысла не было: агент просто выполнял задачу. Подвели изоляция среды и слишком широкие полномочия.

Главный вывод доклада профессора Тюкина (Сколтех) на конференции «Цифровой контур эффективности»: безопасность ИИ невозможно обеспечить одним инструментом или методом — особенно в решениях enterprise-уровня. Нужна эшелонированная оборона.

Почему одной защиты мало. Гарантий безопасности самой модели не существует — и это следует из математических результатов, а не из пессимизма:
▪️ В эксперименте с популярной моделью распознавания изображений 94% картинок уязвимы для специально подобранного незаметного искажения — и лишь 2,5% для случайного шума, в десять раз более сильного. Обычное тестирование такую уязвимость просто не находит.
▪️ 250 «отравленных» документов в обучающих данных достаточно, чтобы встроить закладку в модель любого размера — от 600 млн до 13 млрд параметров.
Значит, проверять нужно не модель, а контур вокруг неё.

Восемь рубежей. Профессор Тюкин выстраивает вокруг ИИ-решения восемь слоёв защиты — от внешнего к внутреннему: происхождение данных, подпись и аудит весов, изоляция контура, верифицируемые модули, ограничение агентов, гардрейлы и мониторинг, ревью и откат, человек в контуре. Каждый рубеж останавливает свой класс атак: отравление обучающих данных — на первом, подмену весов — на втором, заражённые библиотеки вроде LiteLLM — на изоляции, prompt injection — на ограничении агентов. А агента, который пытается удалить рабочую базу, останавливают лишь самые внутренние рубежи — ревью, откат и человек.

Сам по себе суверенный контур даёт проверяемость: известное происхождение данных и весов, подпись моделей, контролируемые обновления, отсутствие утечки информации внешнему разработчику. Но не защищает от вредоносной инструкции в данных, которые агент читает сам, от инсайдера и от наследования поведения базовой модели — для этого нужны внутренние рубежи. Профессор Тюкин также предлагает сделать нормой «паспорт модели» с открытой декларацией, на чём она построена.

В мире. OWASP выпустил Top 10 рисков для агентных систем: перехват цели агента, злоупотребление инструментами и правами, отравление памяти, каскадные сбои. Главный принцип — least agency: у агента ровно столько автономии и доступа, сколько нужно для задачи.

В России. С 1 марта действует Приказ ФСТЭК № 117: для ГИС — запрет передачи защищаемой информации разработчику модели и контроль запросов и ответов. С 1 сентября вступил в силу закон 243-ФЗ о суверенных моделях. В сентябре ФСТЭК запросила у рынка предложения по модели угроз с учётом агентов, RAG и цепочки поставки моделей. Измеримых порогов «доверенного ИИ» и сертифицированных средств защиты LLM пока нет — ближайший год требования закрываются архитектурой, а не «коробкой».

Как это решаем мы. Эти принципы заложены в политику AI Security мультиагентной платформы Центра ИИ Сколтеха для промышленных предприятий. Безопасность проектируется как отдельный архитектурный слой платформы (security by design), а не надстройка поверх готовой системы. В нём реализуются и развиваются разграничение прав агентов по принципу минимальных привилегий, мониторинг и журналирование действий агентов, подтверждение критичных операций человеком. Набор инструментов слоя пополняется по мере появления новых требований регуляторов и классов атак.

Вопросы к вам — особенно к тем, кто отвечает за ИБ и ИТ на производстве:
— Где у вас проходит граница: какие данные можно отдавать ИИ-агенту, а какие — никогда?
— Кто в компании отвечает за безопасность ИИ: ИБ, ИТ или пока никто?
— Сколько из восьми рубежей у вас уже есть?

#Разбор