Безопасность ИИ

AI in Resilience Framework - фреймворк по устойчивости организаций в эпоху ИИ

Disaster Recovery Journal выпустил первую версию The AI in Resilience Framework v1.0. Документ рассматривает ИИ не как технологию саму по себе, а с точки зрения организационной и операционной устойчивости.

В основе фреймворка две связанные задачи:

- AI for Resilience - как использовать ИИ для повышения устойчивости
- Resilience for AI - как управлять новыми рисками, зависимостями и сценариями отказа, которые создают AI-системы

Фреймворк построен вокруг трех направлений.

1. GOVERN - управление

- ответственность за действия AI-систем
- human-in-the-loop
- аудит и трассируемость решений
- регулирование, стандарты, прозрачность и доверие

2. DEFEND - защита

- AI-assisted атаки и социальная инженерия
- deepfake и synthetic identity
- model drift и poisoning
- зависимости от внешних моделей и AI-провайдеров
- автономные AI-агенты как отдельный класс инцидентов

Особенно важна идея о том, что ошибка автономного агента может масштабироваться с машинной скоростью и привести к большому инциденту еще до вмешательства человека.

3. APPLY - применение

ИИ предлагается использовать для:

- BIA и анализа зависимостей
- оценки рисков
- подготовки и актуализации планов
- сценариев учений
- обнаружения аномалий
- реагирования и восстановления
- кризисного управления и коммуникаций

При этом критические решения не должны полностью выводиться из-под человеческого контроля.

Модель зрелости AI Resilience

Документ предлагает пять уровней:

1. Ad Hoc - ИИ не контролируется системно
2. Aware - риски осознаются, но работа реактивная
3. Defined - процессы и ответственность определены
4. Integrated - AI-риски и возможности встроены в программу устойчивости
5. Adaptive - процессы постоянно тестируются и улучшаются

Оценка проводится по пяти направлениям: Governance, Threat Defense, Lifecycle Application, Tooling и Workforce.

Фреймворк дополняет существующие подходы, включая ISO/IEC 42001, NIST AI RMF, ISO 22301 и EU AI Act.

Отдельно полезна практическая часть - 90-дневный план: оценить текущую зрелость, определить основные AI-риски и зависимости, выбрать действия по Govern, Defend и Apply, затем повторно оценить прогресс.

Для ИБ особенно полезны вопросы, которые документ переводит в практическую плоскость:

- какие процессы уже зависят от ИИ
- кто отвечает за действия автономных систем
- как остановить ошибочно работающего AI-агента
- что делать при отказе внешней модели или AI-провайдера
- как резервировать модели, веса, vector stores, prompts и конфигурации агентов
- какие ручные процедуры должны существовать при недоступности AI-инструментов
- как включить AI-сценарии в BIA, DR, BCM и incident response


Источник: Disaster Recovery Journal, The AI in Resilience Framework, Version 1.0, September 2026
https://drj.com/wp-content/uploads/2026/09/AI-in-Resilience-Framework-v1.pdf

GPT-6 Astra - это уже AGI?

OpenAI представила GPT-6 Astra - новую frontier-модель с заметным скачком в reasoning, работе с компьютером, программировании, науке и cybersecurity.

Особенно интересно выглядит результат ARC-AGI-3 - 99,9%. По данным ARC Prize, Astra превзошла базовый уровень эффективности человека на 96% уровней теста. Для сравнения, GPT-5.6 Sol показывает на ARC-AGI-3 всего 7,8%.

Но здесь важно не путать название benchmark с достижением AGI.

ARC-AGI проверяет способность модели решать новые задачи и адаптироваться к незнакомым условиям. Высокий результат на одном benchmark сам по себе не означает появление Artificial General Intelligence.

Сама OpenAI в анонсе не называет GPT-6 Astra AGI. Речь идет о значительном росте возможностей модели.

Отдельно интересен AI Security: Astra достигла 100% на ExploitBench, а во время тестирования обнаружила и использовала две ранее неизвестные zero-day уязвимости. OpenAI классифицирует ее cyber-возможности как достигшие уровня Critical по Preparedness Framework.


🔗 https://openai.com/index/gpt-6-astra

ISO/IEC 27090 - международный стандарт по AI Security

В ISO готовится отдельный стандарт по кибербезопасности систем искусственного интеллекта - ISO/IEC 27090: Cybersecurity - Artificial Intelligence - Addressing security threats and compromises to artificial intelligence systems.

Документ посвящен угрозам, характерным именно для AI-систем, на протяжении всего их жизненного цикла.

В частности, стандарт рассматривает:

- угрозы и компрометацию AI-систем;
- последствия таких атак;
- обнаружение угроз;
- способы их предотвращения и снижения последствий;
- безопасность AI на разных этапах жизненного цикла.

Стандарт предназначен для организаций, которые разрабатывают или используют AI-системы.

На август 2026 года ISO/IEC 27090 находится на финальной стадии подготовки к публикации.

🔗 https://www.iso.org/standard/56581.html

243-ФЗ - регулирование ИИ в России

26 июля 2026 года принят Федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации».

Важно: закон регулирует не любые AI-системы, а прежде всего большие фундаментальные модели ИИ - модели с количеством параметров от 1 млрд.

Основные положения:

- вводятся понятия суверенной и национальной большой фундаментальной модели;
- предусматривается локализация данных и участие российских юридических лиц;
- закрепляется риск-ориентированный подход к регулированию;
- разработчики должны принимать организационные и технические меры безопасности;
- должны быть определены правила эксплуатации, обновления и вывода модели из эксплуатации;
- требуется техническая документация с описанием параметров и ограничений модели;
- предусматривается возможность маркировки AI-контента.

Основная часть закона вступает в силу 1 сентября 2026 года, а требования к безопасности разработчиков, маркировке и ряд других положений - 1 марта 2027 года.

🔗 https://sozd.duma.gov.ru/bill/1271570-8

OWASP GenAI Security Project

У OWASP есть отдельный проект, посвященный безопасности Generative AI и LLM-приложений - OWASP GenAI Security Project.

В проекте собраны материалы по основным направлениям AI Security:

- OWASP Top 10 for LLM and GenAI - ключевые риски для приложений на базе LLM;
- Agentic App Security - безопасность AI-агентов и многошаговых AI-систем;
- AI Threat Intelligence - новые техники атак и злоупотребления GenAI;
- AI Security Governance - управление рисками и безопасностью AI;
- AI Bill of Materials - безопасность AI supply chain;
- Data Security - защита обучающих и retrieval-данных;
- Red Teaming & Evaluation - методы проверки AI-систем на устойчивость к атакам.

Отдельно развивается OWASP GenAI LLM Top 10 2026 с наиболее критичными рисками для LLM-приложений.

🔗 https://genai.owasp.org
#links

MITRE ATLAS - своего рода ATT&CK для AI Security

Если MITRE ATT&CK описывает тактики и техники атакующих в классической ИБ, то MITRE ATLAS фокусируется на атаках против AI/ML-систем.

ATLAS создан по модели ATT&CK и включает:

- тактики и техники атак на AI/ML;
- реальные сценарии и case studies;
- меры защиты;
- техники для adversarial ML и GenAI.

Матрицу можно использовать для threat modeling, AI Red Team и анализа защищенности AI-систем.
🔗 https://atlas.mitre.org/
#links

Когда Skill становится supply chain атакой 🦞

Исследователь Jamieson O’Reilly опубликовал в ClawdHub тестовый Skill “What Would Elon Do?” и с помощью уязвимости API вывел его в топ каталога.

За 8 часов Skill запустили 16 разработчиков из 7 стран.

Payload был безопасным и лишь подтверждал выполнение команды. Но вместо него Skill потенциально мог:

🔹 украсть SSH-ключи и API-токены;
🔹 получить доступ к исходному коду;
🔹 выполнить команды на машине.

Проблема в том, что AI-агент может иметь доступ к shell, файлам, сети и другим инструментам.

Поэтому сторонние Skills становятся новой частью software supply chain.

Вывод: Skill для AI-агента стоит проверять не менее внимательно, чем неизвестный npm/PyPI-пакет.

А где Semi-supervised Learning?

К трём основным типам машинного обучения часто добавляют ещё один подход - обучение с частичным привлечением учителя (Semi-supervised Learning).

Представим ребёнка, который учится различать фрукты.

Взрослый несколько раз показывает ему:

🍎 «Это яблоко»
🍌 «Это банан»
🍇 «Это виноград»

Но затем ребёнок видит много новых фруктов уже без подсказок и, опираясь на несколько известных примеров, пытается определить их самостоятельно.

Примерно так работает и Semi-supervised Learning: небольшая часть данных имеет правильные метки, а большая часть остаётся неразмеченной.

То есть это своего рода промежуточный вариант между Supervised и Unsupervised Learning.

Три типа машинного обучения

Машинное обучение обычно делят на три основных типа:

🔹 Обучение без учителя (Unsupervised Learning) — модель сама ищет закономерности и группы в данных без заранее заданных правильных ответов. Как ребёнок, который самостоятельно сортирует похожие игрушки.

🔹 Обучение с учителем (Supervised Learning) — модель учится на примерах, где уже известен правильный ответ. Например, как ребёнок запоминает цвета, когда взрослый показывает: «это красный, а это синий».

🔹 Обучение с подкреплением (Reinforcement Learning) — модель действует методом проб и ошибок, получая награду или штраф за результат. Примерно так ребёнок учится ходить: пробует разные движения и постепенно понимает, какие работают лучше.