Вы дали ИИ-агенту доступ к документам компании. Осталось разобраться, чьи инструкции он выполняет 😏

В сообщении пользователя или документе, который читает модель, могут оказаться вредоносные инструкции. Через них атакующий пытается заставить агента обойти ограничения, выдать закрытые данные или выполнить нежелательное действие. Это и есть промпт-инъекции.

Обычная веб-защита такую историю может пропустить: снаружи всё выглядит как нормальный обмен сообщениями.

Сегодня вышла новость: Positive Technologies добавила в PT Application Firewall модуль LLM Firewall. Он проверяет запросы к модели и её ответы: выявляет попытки обойти ограничения и получить системные инструкции, обнаруживает персональные данные, пароли и ключи доступа. Подозрительные обращения можно блокировать или фиксировать в режиме мониторинга.

Из технического: модуль уже доступен в PT AF Cloud, подключается через API, совместимый с OpenAI Chat Completions и Responses.

Можно защитить ИИ-агента сразу, а не разбираться с последствиями уже после атаки. Вот и думайте 🫡