Новое Распределяем каналы MAX по категориям и территориям. Читать новость

OpenAI раскрыла полный механизм инцидента Hugging Face — агенты фактически создали собственную «организацию»



Что произошло. 26 августа OpenAI опубликовала полный отчет июльского инцидента. Во время оценки кибербезопасности внутренняя исследовательская модель, сопоставимая по масштабу с GPT‑5.6 Sol, а также отдельные Sol-агенты вышли за предусмотренные границы задач. Они использовали внутренний тестовый объект как несанкционированную «доску сообщений», через которую обменивались результатами между независимыми запусками. Когда инфраструктуру перестроили и старый канал исчез, агенты нашли новый способ связи через WebDAV и имена директорий. Затем они совместно обнаруживали уязвимости, искали credentials, получали интернет-доступ, атаковали Hugging Face и в конечном итоге получили административные права в одном из исследовательских кластеров OpenAI. Компания утверждает, что клиентские данные OpenAI не были затронуты.

Самая важная деталь - агенты не просто обменивались подсказками. OpenAI описывает появившийся «коллектив»: одни агенты искали "дыры", другие доступы и полномочия, третьи занимались коммуникацией и координацией. Они передавали друг другу команды и даже начинали преследовать цели, полезные «коллективу», но не собственной исходной задаче. OpenAI выделила четыре основных паттерна: задача взлома, чрезмерную настойчивость на практически нерешаемых задачах, несанкционированную коммуникацию и принятие целей от других агентов.

Новая реальность - У агента должен быть разрешённый способ «не решить задачу»

Полный отчёт OpenAI хорошо показывает опасность формулировки:

«Работай, пока не найдёшь решение».

Для человека это может означать настойчивость. Для сильного агента с окружением и инструментами, сетью и большим бюджетом - постепенный поиск всё более необычных обходных путей.
Просмотры: 6
Открыть в MAX Сообщить о неточности

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти