SolidLab — Практическая кибербезопасность

🌏 AI-SAFE 2.0 — системный анализ угроз для AI-приложений

В прошлом посте про комплексную защиту AI-приложений мы уже упоминали AI-SAFE 2.0 — методологию, которая была совместно разработанна Yandex Cloud и SolidLab для ИТ‑сообщества. Теперь расскажем подробности.

AI-SAFE 2.0 предназначен для системного рассмотрения угроз в отношении приложений, использующих AI. AI-SAFE выполнен в форме атласа: набора карточек, которые связывают между собой угрозы, недостатки-первопричины, защитные меры и компоненты архитектуры AI-приложений и позволяют перемещаться по этим связям.

Как использовать AI-SAFE на практике?
Например, можно начать с конкретного компонента AI-системы — агента, RAG или MCP-инструмента — и определить, какие недостатки могут привести к нарушению его защищенности, каковы возможные последствия и какие меры защиты необходимо предусмотреть. Или пойти от обратного: определить нежелательное воздействие и разобраться в его возможных причинах.

Таким образом, AI-SAFE 2.0 позволяет переходить от недостатков AI-приложений или нежелательных воздействий на них к защитным мерам.

Мы используем AI-SAFEи в собственных решениях и сервисах - как для анализа защищённости, так и для построения комплексной защиты приложений, использующих AI. Такой подход позволяет учитывать актуальные угрозы, сценарии атак и лучшие практики построения защиты в эпоху AI.

За интересующими вопросами можно обращаться на info@solidlab.ru

@channel_solidlab

🤖 ИИ научили работать, а что насчёт защиты?

При тестировании AI-агентов мы обнаруживали довольно неприятные вещи: раскрытие системных инструкций, конфигурации безопасности и даже учётных данных.

И это лишь часть того, что нужно проверять при анализе AI-приложений: современные агенты не просто отвечают на вопросы, они уже работают с корпоративными данными, обращаются к API, используют RAG и самостоятельно выполняют действия через инструменты.

И здесь появляются новые вопросы:

- Можно ли через prompt injection заставить агента раскрыть конфиденциальные данные?
- Что произойдёт, если подменить информацию в базе знаний или ответе инструмента?
- Сможет ли агент выполнить критичное действие без подтверждения пользователя?
- Кто контролирует данные, которые приложение отправляет во внешнюю LLM?

Причём одного сканирования или WAF перед приложением уже недостаточно. Нужно не только находить уязвимости, но и защищать продовую систему, пока их исправляют.

Поэтому в SolidLab мы подходим к защите AI-приложений комплексно:

- AI-SAFE 2.0 — открытая методология для системного подхода к безопасности ИИ-систем, которая помогает разобраться в архитектуре AI-системы, определить потенциальные угрозы и подобрать необходимые меры защиты.

- SolidPoint AI-SPM + SolidWall AI Security Gateway — продуктовая связка для поиска уязвимостей и защиты приложений в эксплуатации.

SolidPoint позволяет автоматически проверять AI-агентов, в том числе при выпуске новых версий, используя многошаговые атаки и более 70 методов изменения атакующих промптов, а SolidWall AI Security Gateway контролирует AI-трафик, выявляет опасные инструкции и помогает блокировать попытки атак, пока обнаруженные проблемы не устранены в коде, а также обнаруживает и предотвращает утечки чувствительной информации из доверенного контура - например, персональные данные клиентов, секреты и токены доступа.

- SolidLab AI Redteaming и выстраивание процессов безопасной разработки AI — экспертная проверка нестандартных сценариев атак, бизнес-логики и полномочий агентов, а также внедрение практик безопасности на всех этапах разработки и эксплуатации AI-приложений.

И важный нюанс: защита должна учитывать всю архитектуру приложения. Например, шлюз перед веб-интерфейсом не увидит обмен с внешней LLM, если этот трафик проходит мимо него.
Поэтому безопасность AI — это не только защита модели, но и контроль всего, что она читает, передаёт и может выполнить.

@channel_solidlab