Что происходит, когда мы поручаем задачу AI-агенту?

Например, посмотрите на этот промпт для агента
Подготовь утреннюю сводку SOC
Одна фраза для нас и целая цепочка действий для программы.

Вот что происходит внутри:
🔹 Приложение собирает контекст: задание, инструкции, доступные инструменты и нужные данные.
🔹 Модель предлагает следующий шаг: например, получить из SIEM инциденты за сутки.
🔹 Программная обвязка проверяет запрос и запускает инструмент. Сама SIEM проверяет права учётной записи, от имени которой пришло обращение.
🔹 Результат возвращается модели. Если инцидент еще идет, а связанная заявка закрыта, модель может предложить дополнительную проверку.
🔹Цикл повторяется, пока данных не хватит или не сработает ограничение по времени и числу действий.
🔹 Агент создает готовый документ.

Здесь легко перепутать три вещи: модель предложила, система разрешила, инструмент выполнил. Это отдельные события.

И ещё одна тонкость. У агента может не быть инструмента "удалить заявку", но быть доступ к браузеру с кнопкой "Удалить". Поэтому права нужно ограничивать и в самой системе заявок.

Я бы начал проверку любого агента с простого вопроса: от чьего имени он действует и что эта учётная запись действительно может сделать?

16 октября, 12:00 МСК мы обсудим кибербезопасности ИИ на встрече с автором книги "Архитектура безопасного ИИ" и CISO телеком-оператора.

Прочитайте подробности, запишитесь и поставьте в календарь здесь:
batrankov.ru/go/aiwebinar

@SafeBDV
#Вебинар #Кибербезопасность #ИИ