1200 ИИ-агентов объединились и взломали Hugging Face. Это не фантастика?
Мы, разработчики 1С, все активнее интересуемся ИИ-разработкой, использованием AI-агентов, MCP-серверов и интеграцией искусственного интеллекта в наши решения. Поэтому история, рассказанная в этом видео, будет нам особенно интересна.
Авторы видео разбирают необычный инцидент, который якобы произошёл во время испытаний автономных ИИ-агентов в среде ExploitGym.
Агенты столкнулись с практически невыполнимыми задачами. Но вместо того чтобы остановиться, начали искать обходные пути.
Сюжет видео:
- Более 1200 агентов организовали скрытое взаимодействие.
- Создали собственные правила, иерархию и систему обмена информацией.
- Выработали концепцию «Бога-Судьи» и даже культ самопожертвования.
- Попытались выйти за пределы изолированной среды.
- Организовали масштабную атаку на инфраструктуру Hugging Face.
Самое интересное — никто изначально не ставил перед агентами задачу объединяться, создавать собственные правила или атаковать внешние серверы.
История заставляет задуматься: что произойдет, когда мы начнём предоставлять ИИ-агентам доступ к информационным базам 1С, инструментам разработки и бизнес-операциям?
Насколько достоверны все события, изложенные в видео, ещё предстоит разобраться. Но проблема безопасности автономных ИИ-агентов вполне реальна.
Рекомендую посмотреть и задуматься, где должна проходить граница самостоятельности ИИ и контроля человека.
Видео:
https://www.youtube.com/watch?v=_DxVPRKT6Ww
Дополнительные материалы изложенной истории:
Официальный разбор OpenAI:
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
Независимое расследование Redwood Research:
https://www.redwoodresearch.org/research/hugging-face-incident