PT Application Firewall научился защищать ИИ-агентов и сервисы на основе LLM от кибератак

🤖 Сервисы на основе больших языковых моделей уже стали полноценными участниками бизнес-процессов. Они работают незаменимыми ассистентами и личными секретарями, неутомимыми аналитиками, внимательными сотрудниками техподдержки и отделов продаж, джунами, тестировщиками и даже киберзащитниками.

Но кто защитит самих виртуальных помощников, у многих из которых есть доступ к персональным данным, корпоративным документам и информационным системам? Встречайте нашего супергероя LLM Firewall — новый модуль в составе решения для защиты веба PT Application Firewall, смело встающий на киберзащиту ИИ-сервисов.
 
Как это работает

Представьте, что у вас есть ИИ-бот, который принимает у клиентов заказы или занимается их жалобами. И вот, злоумышленник, выдавая себя за клиента, отправляет ему хитрый запрос. Составлен он так, чтобы обойти установленные ограничения, и заставить бота выдать закрытую информацию или выполнить нежелательное действие.

Так работает один из любимых приемов киберпреступников — инъекция промптов (prompt injection), похожим образом бота могут взломать при помощи документов, которые обрабатывает LLM. Причем традиционные средства веб-защиты воспринимают это как обычное сообщение от пользователя, а не как атаку.

Модуль LLM Firewall встает между приложением и языковой моделью, внимательно проверяя входящие запросы и ответы. Ищет джейлбрейки, попытки вытащить системные инструкции или использовать возможности ИИ-агента в интересах атакующего. Находит — блокирует или фиксирует для разбора.

А еще — контролирует, какую информацию пользователи передают ИИ в своих запросах. При этом обращает внимание как на персональные данные, пароли, ключи доступа и другие секреты, так и на токсичный, запрещенный и потенциально опасный контент.

Двусторонняя проверка позволяет компаниям контролировать и входящую информацию, и исходящую, избегая репутационных рисков из-за некорректных ответов бота пользователям.

Кому пригодится такая защита

Можем честно сказать, что всем. Но в первую очередь организациям, много общающимся с пользователями через ИИ-сервисы или внедряющим их прямо сейчас. Например, банкам, ретейлерам, маркетплейсам, телеком-операторам и ИТ-компаниям. Здесь риски атак на LLM-модели выше, а компрометация чувствительных данных может привести к утечкам информации, финансовым потерям и сбоям в работе бизнеса.

«Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени. По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — говорит Павел Пархомец, руководитель продукта PT AF Cloud.

Как подключить модуль

Хорошая новость: модуль уже интегрирован в PT AF Cloud и подключается к обмену данными через API, совместимый с OpenAI. Отдельная консоль не нужна. Скоро он будет и в on-premise версии PT AF PRO.

Так что вам останется только настроить политики и выбрать режим — мониторинга или блокировки, чтобы спать спокойно не переживать о безопасности своих ИИ-помощников.

#PTAFCloud
@Positive_Technologies