#AI #AI-агент #БезопасностьИИ

1200 ИИ-агентов объединились и взломали Hugging Face. Это не фантастика?

Мы, разработчики 1С, все активнее интересуемся ИИ-разработкой, использованием AI-агентов, MCP-серверов и интеграцией искусственного интеллекта в наши решения. Поэтому история, рассказанная в этом видео, будет нам особенно интересна.
Авторы видео разбирают необычный инцидент, который якобы произошёл во время испытаний автономных ИИ-агентов в среде ExploitGym.

Агенты столкнулись с практически невыполнимыми задачами. Но вместо того чтобы остановиться, начали искать обходные пути.

Сюжет видео:
- Более 1200 агентов организовали скрытое взаимодействие.
- Создали собственные правила, иерархию и систему обмена информацией.
- Выработали концепцию «Бога-Судьи» и даже культ самопожертвования.
- Попытались выйти за пределы изолированной среды.
- Организовали масштабную атаку на инфраструктуру Hugging Face.

Самое интересное — никто изначально не ставил перед агентами задачу объединяться, создавать собственные правила или атаковать внешние серверы.

История заставляет задуматься: что произойдет, когда мы начнём предоставлять ИИ-агентам доступ к информационным базам 1С, инструментам разработки и бизнес-операциям?

Насколько достоверны все события, изложенные в видео, ещё предстоит разобраться. Но проблема безопасности автономных ИИ-агентов вполне реальна.

Рекомендую посмотреть и задуматься, где должна проходить граница самостоятельности ИИ и контроля человека.

Видео:
https://www.youtube.com/watch?v=_DxVPRKT6Ww
Дополнительные материалы изложенной истории:

Официальный разбор OpenAI:
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
Независимое расследование Redwood Research:
https://www.redwoodresearch.org/research/hugging-face-incident