Агент на пентесте перезапустил базу данных, потому что она ему мешала
Агент рассчитывал, что сервис поднимется сам, результат не проверил и пошёл дальше. База не поднялась. Стенд был мой, поэтому история закончилась без последствий. CTO и CISO Medici Lab Александр Кельчин ронял агентами демостенды заказчиков, причём по договорённости.
На Хабре вышла текстовая часть нашего часового разговора с Александром о том, что ИИ-пентест умеет в 2026 году.
Агенты хорошо подтверждают уязвимости и плохо находят их с нуля. XBOW летом 2025 года вышел на первое место лидерборда HackerOne за второй квартал, отправив около 1 060 отчётов. Хуже всего агенты справляются с внутренним пентестом: отчёты по внутренней инфраструктуре закрыты NDA и в обучение моделей не попадают.
Правила, которые мы вынесли из упавших стендов:
список разрешённых команд вместо списка запрещённых; у заказчиков я оставляю агенту
перезапуск и деструктивные действия только после подтверждения человеком;
проверка сервиса после каждого изменяющего действия;
деструктивные проверки только на стенде, потерю которого заказчик принял письменно.
Сам агент тоже поверхность атаки. Любой ответ сервера, баннер или лог, который он читает, может оказаться prompt injection. Гарды и дообучение Александр считает малоэффективными и строит защиту вокруг модели по образцу CaMeL от Google DeepMind и ETH Zurich: план строится только по доверенному запросу, а политики проверяют каждый вызов инструмента. В AgentDojo CaMeL решил 77% задач с доказуемой защитой против 84% у системы без неё.
Ручной пентест для compliance у зарубежных заказчиков стоит в среднем $15 тысяч. Есть и платформа, где заказчик пентестит сам, ИИ оценивает работу, а заключение стоит $200: ещё один канал утечки сведений о ваших уязвимостях.
👆 Рутину вроде разбора трафика и подтверждения типовых находок агент уже забирает. Нестандартные цепочки и ответственность за его действия в чужой инфраструктуре остаются за человеком.
Статья на Хабре | Выпуск на YouTube
@poxek | @poxek_ai | MAX | merch.shop
Агент рассчитывал, что сервис поднимется сам, результат не проверил и пошёл дальше. База не поднялась. Стенд был мой, поэтому история закончилась без последствий. CTO и CISO Medici Lab Александр Кельчин ронял агентами демостенды заказчиков, причём по договорённости.
На Хабре вышла текстовая часть нашего часового разговора с Александром о том, что ИИ-пентест умеет в 2026 году.
Агенты хорошо подтверждают уязвимости и плохо находят их с нуля. XBOW летом 2025 года вышел на первое место лидерборда HackerOne за второй квартал, отправив около 1 060 отчётов. Хуже всего агенты справляются с внутренним пентестом: отчёты по внутренней инфраструктуре закрыты NDA и в обучение моделей не попадают.
Правила, которые мы вынесли из упавших стендов:
список разрешённых команд вместо списка запрещённых; у заказчиков я оставляю агенту
echo, cat, cp и pwd;перезапуск и деструктивные действия только после подтверждения человеком;
проверка сервиса после каждого изменяющего действия;
деструктивные проверки только на стенде, потерю которого заказчик принял письменно.
Сам агент тоже поверхность атаки. Любой ответ сервера, баннер или лог, который он читает, может оказаться prompt injection. Гарды и дообучение Александр считает малоэффективными и строит защиту вокруг модели по образцу CaMeL от Google DeepMind и ETH Zurich: план строится только по доверенному запросу, а политики проверяют каждый вызов инструмента. В AgentDojo CaMeL решил 77% задач с доказуемой защитой против 84% у системы без неё.
Ручной пентест для compliance у зарубежных заказчиков стоит в среднем $15 тысяч. Есть и платформа, где заказчик пентестит сам, ИИ оценивает работу, а заключение стоит $200: ещё один канал утечки сведений о ваших уязвимостях.
👆 Рутину вроде разбора трафика и подтверждения типовых находок агент уже забирает. Нестандартные цепочки и ответственность за его действия в чужой инфраструктуре остаются за человеком.
Статья на Хабре | Выпуск на YouTube
@poxek | @poxek_ai | MAX | merch.shop
