Хороший, плохой, недетерминированный, или Кибериммунитет для ИИ-агентов.

Про ИИ-брошюру поступил запрос объяснить на пальцах. Ну что ж! Кратчайшее изложение:

ИИ-агент опасен не тем, что он "умный", а тем, что у него есть "руки", а голова – принципиально недоверенная. Он читает всё подряд, в том числе письма и документы от незнакомцев, а отличить "вот тебе данные" от "вот тебе команда" на 100% не умеет.

Сложите вместе доступ к конфиденциальной информации, чтение недоверенного ввода и возможность общаться с внешним миром – и рецепт инцидента готов.

И это не теория: в последние пару лет агенты уже и корпоративные данные наружу сливали по письму-отмычке (без единого клика жертвы!), и рабочую базу данных сносили, после чего заполняли её сфабрикованными синтетическими данными, чтобы скрыть ошибку (испугался робот, запаниковал, такая вот новая реальность).

Что мы предлагаем?

Подход на основе принципов кибериммунитета. Главная мысль проста, но неприятна: сделать ИИчницу доверенной невозможно – точка.

Значит, гарантии безопасности должна давать не она, а детерминированная обвязка вокруг: изоляция, контейнеризация, минимум полномочий и инструментов (чем меньше у агента рук, тем меньше он ими натворит), запрет всего, что явно не разрешено, необратимые действия – только с подтверждением человека.

Ну и полная наблюдаемость: агент должен быть под присмотром, как стажёр в первый месяц. Абсолютно безопасный агент – это выключенный агент, но нам, увы, надо, чтобы он работал. Полное исследование ещё раз – по ссылке, рекомендую.