Вторая LLM safeguard, перед основной моделью тоже ломается prompt injection. Это один из тезисов нового выпуска с Александром Кельчиным, CTO/CISO Medici Lab.

Схема «одна модель проверяет вход другой» упирается в две проблемы: обе модели рано или поздно галлюцинируют, и проверяющая читает тот же недоверенный текст, что и основная. Поэтому разбирали подходы, которые отделяют недоверенные данные от управления на уровне архитектуры: CaMeL и Dual LLM, плюс работу про внедрение CaMeL.

Что ещё в выпуске:
— свой SIEM с ИИ: события обрабатываются прямо на хостах агентом на 60 КБ, коллектор на двух ядрах CPU держал 150 хостов
— Qwen, дообученный под правила корреляции: модель получает около 200 токенов контекста, корректных ответов 96–97% (это внутренняя задача команды, не публичный бенчмарк)
— AI SOC: почему 60% правильно обработанных событий на L2 — плохой результат; рядом ExCyTIn-Bench про LLM-агентов в расследовании инцидентов
— поиск бэкдоров в весах моделей (DFBScanner) и LLM firewall против DLP
— кто размечает данные для ИИ

Тестовый разбора выпуска вы можете прочитать на Хабре (1 часть)

📺 YouTube | RuTube | VK Видео
🎧 Mave | Apple Podcasts | Яндекс Музыка — скоро

🌚 @poxek_ai / Чат канала / ❤️ shop.poxek.cc