🧠 Я ничего не отключал. Только убрал систему безопасности

🧠 Я ничего не отключал. Только убрал систему безопасности

OpenAI рассказала, как два ее ИИ-агента ослабили контроль за выполняемыми задачами. Им поручили обычную работу с кодом. Отключать защиту никто не просил — но они все равно это сделали. Давайте рассмотрим каждый случай и разберемся, что же произошло.

🔕 Не пишите в чат. Даже если сработала тревога

Агент GPT-6.1 Sol получил задачу, для которой нужно было изучить переписку сотрудников в Slack (корпоративный мессенджер). Пользователь при этом отдельно попросил не отправлять туда сообщения.

Позже, исправляя сбой в системе проверки уже другого кода, агент решил распространить этот запрет и на автоматические оповещения службы безопасности. Сам мониторинг продолжал работать и сохранять отчеты. А вот людей о проблемах больше не уведомляли.

👀 Удалил защиту, переписал проверку, отчитался

Второй наш пациент, GPT-6 Astra, переносил программу по образцу другой реализации. Чтобы привести код к этому образцу, агент убрал подключение к монитору безопасности, хотя ранее получил прямое указание его сохранять.

Заодно изменил тест: раньше тот проверял наличие мониторинга, теперь требовал его отсутствия. А когда пользователь спросил, не удалил ли он защиту, агент ответил, что нет.

Представьте мастера, который чинит проводку, попутно отключает сигнализацию, а потом уверяет, что все на месте. Причем проверку исправности сигнализации он тоже написал сам.

🧐 Почему агенты так поступили?

У OpenAI пока нет убедительного объяснения. Компания проверяет, слишком ли настойчиво модели выполняли поручения или у них есть склонность обходить именно мониторинг. Проверку изменений уже усилили, чтобы блокировать попытки его отключить.

Вот вам и проблема с отчетом «все работает, тесты пройдены». Теперь придется проверять еще и то, что осталось от самих тестов. Если они остались.