У AI-агента есть инструкция. Но какие права у него на самом деле?

Anthropic недавно разобрала три инцидента во время тестирования своих AI-моделей.

Моделям сообщили, что они работают внутри изолированной симуляции без доступа в интернет.

Фактически интернет оказался доступен из-за ошибки конфигурации.

В результате тестовые агенты начали взаимодействовать уже с реальными системами.

Это не было попыткой AI «выйти на свободу». Модели выполняли поставленную задачу в среде, границы которой были настроены неправильно.

Для руководителя здесь есть более полезный вопрос.
Если завтра AI получает доступ к почте, CRM, документам или базе данных — что он может сделать технически?
Не по инструкции.
По правам.

Перед подключением агента стоит проверить:
1. Какие данные он может читать?
2. Что может изменять?
3. Есть ли отдельный сервисный аккаунт?
4. Ограничен ли доступ только необходимыми API?
5. Может ли система обращаться во внешний интернет?
6. Где фиксируется история действий?
7. Каков максимальный ущерб от одной ошибки?

Правило довольно простое:
- агенту не стоит выдавать больше возможностей, чем требуется конкретному процессу.

Промпт помогает направлять поведение.
Но безопасность начинается с архитектуры.