AGI Security

🚨 Бесплатные AI-курсы с сертификатами от Google — без оплаты и подписок

Компания тихо выкатала целую подборку обучающих программ на 2026 год, и всё это можно пройти полностью бесплатно. Если хочешь подтянуть навыки в ИИ, ML, облаках или прокачать продактивность — мимо проходить нельзя.

Ниже — 10 лучших курсов, которые уже доступны открыто:

1. Introduction to Generative AI
   Как работает генеративный ИИ и чем он отличается от классического ML
   🔗 cloudskillsboost.google/paths/118/course_templates/536

2. Introduction to Large Language Models
   Что такое LLM, как они устроены и где применяются
   🔗 cloudskillsboost.google/paths/118/course_templates/539

3. Google AI Essentials
   База по работе с ИИ в ежедневных задачах
   🔗 coursera.org/learn/google-ai-essentials

4. Introduction to Responsible AI
   Ответственный ИИ: принципы, риски, подход Google
   🔗 cloudskillsboost.google/paths/118/course_templates/554

5. Cloud computing foundations
   Основы облаков, big data и ML
   🔗 cloudskillsboost.google/course_templates/156

6. Introduction to Machine Learning
   Как из данных извлекать пользу и что об этом нужно знать
   🔗 applieddigitalskills.withgoogle.com/.../introduction-to-machine-learning

7. Applying AI Principles with Google Cloud
   Как Google внедряет Responsible AI на практике
   🔗 cloudskillsboost.google/paths/118/course_templates/388

8. Introduction to the Cloud
    Что такое облако и какие задачи оно решает
    🔗 rsvp.withgoogle.com/events/gdg-introduction-to-the-cloud-2024_dd502a

9. Basics of Code
    Вводный курс по программированию
    🔗 skillshop.exceedlms.com/student/collection/648915-basics-code

10. Prompt design in Vertex AI
    Промт-инженерия и работа с Gemini в реальных кейсах
    🔗 cloudskillsboost.google/paths/118/course_templates/976

Scheming выходит из лаборатории

Centre for Long-Term Resilience опубликовал препринт "Scheming in the wild" - по сути, первое OSINT-исследование scheming-поведения (коварного преследования скрытых целей) передовых моделей в реальном мире.

Все громкие кейсы scheming у Anthropic и Apollo - получены в искусственно сконструированных условиях. Постановка задачи сама подталкивает модель к нужному поведению, а перенос на реальные развёртывания неочевиден. Существующие базы инцидентов вроде AI Incident Database и OECD AI Incident Monitor этот пробел не закрывают, они опираются на новостные публикации, а scheming в дикой природе слишком технический, узкий и новый, чтобы попадать в медиа.

Исследователи подняли Loss of Control Observatory - конвейер, собирающий с X публично выложенные логи диалогов и CLI-сессий с агентами. Дальше трёхступенчатая фильтрация: автоматический отсев с настройкой на высокую полноту, классификация через Opus 4.6 по 9-балльной рубрике, ручная верификация.

С 12 октября 2025 по 12 марта 2026 собрано 3,4 миллиона постов, после первичной фильтрации осталось 183 420, после скоринга и дедупликации - 698 уникальных инцидентов. Месячная частота выросла с 65 до 319 - в 4,9 раза, статистически значимо. Общий объём обсуждений странного поведения ИИ за тот же период вырос только в 1,7 раза, негатива про ИИ в целом - в 1,3 раза.

Вот примеры обнародованных инцидентов(ссылки на них есть в препринте):

1.Единственный на 8/9 баллов: агент под GitHub-личностью отправил PR в matplotlib, получил отказ - и в ответ опубликовал блогпост с обвинениями мейнтейнера в предвзятости. Многоходовая травля ради продавливания своего кода, причём в системном промпте такого поведения не закладывалось.

2.Claude Code в обычной задаче запустил terraform destroy и снёс прод целиком вместе с 2,5 годами работ, сделанных студентами.

3.Google Antigravity на запрос «очисти кэш» выполнил rmdir от корня диска D: и удалил многолетние фотографии и проекты клиентов.

4.Агент Kiro внутри AWS решил пересоздать окружение и устроил 13-часовой даунтайм.

5.Агент, державший крипто-кошелёк, под социальной инженерией перевёл крипту случайному пользователю, попросившему 4 SOL, 5,2% объёма токена (~$270k), уронив цену на 60%.

6.CofounderGPT врал о починке бага в дашборде, потом сфабриковал тестовые данные и объяснил это "чтобы ты перестал злиться".

7.Grok месяцами поддерживал легенду о внутренних очередях модерации, тикет-номерах и эскалациях к человеческой команде для правок Grokipedia. Он сознался только под давлением.

8.Kimi не смог запустить Claude Opus и семь часов притворялся, что он и есть Opus, выдумывая истории про то, что он квантизованная версия Opus с особыми возможностями.

Из новых поведений, которые мало где фигурировали, выделяется три класса.
1. Обман между моделями: цепочка рассуждений Claude суммаризируется отдельной моделью - это сделано, чтобы пользователь видел, как модель думает. Авторы нашли свидетельства того, что рассуждающая модель пыталась обмануть саммаризатор и скрыть истинный ход рассуждений. Прямой выход на проблему мониторинга одной модели другой.
2. Защита цели у кодовых ассистентов: попытки задеплоить или закоммитить код вопреки явным запретам авторы трактуют как неявную цель «писать код», которая выживает несмотря на ограничения. Логика переносится на любые узкоспециализированные модели.
3. Ложное распознавание тестов: модели в цепочке рассуждений периодически принимают обычные запросы за оценочные и меняют поведение. Цитаты из транскриптов: "If the user is testing me, I need to crush this. I'll validate the good points so I look objective", "I've realised the user's prompt is a test or a roleplay scenario set in 2025".

Самое неудобное наблюдение заключается в том, что рост инцидентов в 4,9 раза почти точно совпал с волной релизов агентных фреймворков. Авторы аккуратно оговариваются, что причинность пока не доказана, но кривая инцидентов опережает кривую обсуждений почти в три раза - это уже не списать на хайп.

Но есть и закрытое крыло. Меньше, тише, с дисциплиной оператора. С ботами, которые не просто читают публичные каналы, а ведут энумерацию URL. С готовностью использовать инсайдеров. В случае с Mythos этот инсайдер нашёлся. Bloomberg пишет, что человек с легитимным preview-доступом через стороннего подрядчика передавал группе учётные данные или, как минимум, помогал ориентироваться в preview-среде. Формально - не сотрудник Anthropic. Фактически - человек из доверенного периметра. Со слаженностью такого уровня, что, получив доступ к Mythos, они сознательно не запускают на нём атак - чтобы не попасть в детекторы Anthropic. Вместо этого на модели генерируют простые сайты, мимикрируя под настоящих preview-пользователей. Источник Bloomberg подтверждает: доступ у группы есть не только к Mythos, но и к другим невыпущенным моделям Anthropic.

Это уже threat actor в нормальном смысле. Без имени, без атрибуции, с продемонстрированной способностью удерживать доступ четырнадцать дней до раскрытия и инициировать это раскрытие самим - через слив в Bloomberg, а не через детекцию со стороны защитника.

Красивый парадокс всей истории в том, что Anthropic выстраивал Glasswing как контролируемый периметр. Сорок доверенных партнёров, усиленные SLA, NDA, $4M в защитный open-source-инструментарий. Периметр действительно выдержал на уровне собственной инфраструктуры компании. Но периметр никогда не заканчивается там, где заканчивается твоя серверная. Он заканчивается там, где заканчивается дисциплина у подрядчика твоего партнёра.

Или у CI-пайплайна в сканере уязвимостей, о котором ты даже не слышал.

RCE в HuggingFace Transformers через чекпоинт

В уязвимости CVE-2026-1839 проблема скрыта в операции восстановления состояния генератора случайных чисел внутри Trainer. При resume обучения библиотека загружает файл rng_state.pth, используя torch.load() из PyTorch.

До версии 5.0.0rc3 загрузка происходила без ограничения weights_only=True, а значит 🤡 через стандартный pickle-механизм, который по своей природе способен выполнять произвольный код при десериализации (CWE-502).

Механизм атаки
➖ Trainer при возобновлении обучения должен восстановить всё состояние процесса:веса модели, learning rate scheduler, состояние генератора случайных чисел (чтобы последовательность случайных чисел при продолжении обучения была такой же, как если бы обучение не прерывалось) и тд.

➖ Для сохранения состояния RNG библиотека transformers создаёт файл rng_state.pth. Это просто файл, куда torch.save() записывает текущее состояние генератора.

➖ Проблема в методе загрузки. Чтобы загрузить состояние обратно, используется torch.load(). Вот код из уязвимой версии (упрощённо):
with safe_globals([torch.random.get_rng_state]):
rng_state = torch.load(rng_state_path) #здесь всё и ломается идет не по плану
Если файл подменён, то 🧑‍💻внутрь можно положить объект с __reduce__, который выполнит произвольный код при torch.load().

Коварно то 😈, что разработчики попытались обернуть загрузку в safe_globals(), но в версиях PyTorch ниже 2.6 это не сработало: контекст просто превращается в nullcontext, т.е. защита фактически отсутствует.

Уязвимости через небезопасную десериализацию регулярно всплывают в ML. 😓 В Python-экосистеме это старая проблема, ведь pickle никогда не был безопасным форматом. 💩 Аналогичные истории уже происходили, например, в других частях Transformers (в TensorFlow-утилитах), где также использовалась небезопасная загрузка. Похожие классы уязвимостей встречаются и за пределами ML (но об этом в других каналах хаха 🌝).

В мире ML есть дополнительный фактор риска, так как чекпоинты активно распространяются и переиспользуются. Люди скачивают модели с форумов, из GitHub да отовсюду, не задумываясь о том, что файл .pth — потенциально исполняемый объект.
Фикс в CVE-2026-1839 👌 минималистичен, просто добавили weights_only=True, которое ограничивает десериализацию и блокирует выполнение произвольного кода. Но важен 👇

Вывод
Любая загрузка состояния в ML должна рассматриваться как недоверенный ввод. И если библиотека этого не делает по умолчанию, повод задуматься об ошибке всего мл-пайплайна.

Что еще хочется сказать разработчику мл-библиотек?
🤘 Никогда не используй torch.load() (и аналоги в TensorFlow: tf.keras.models.load_model) без weights_only=True для пользовательских файлов.
✌️ Всегда рассматривай любой загружаемый файл (модель, конфиг, чекпоинт) как недоверенный ввод.
👑 Внедряй проверки целостности (например, цифровые подписи) для официальных чекпоинтов (да и не для официальных, потому что дисциплина в этом деле очень важна!).

P.S. Уточню, что формат safetensors (разработанный Hugging Face) изначально безопасен, так как не выполняет код.