🧠
Я ничего не отключал. Только убрал систему безопасности
OpenAI
рассказала, как два ее ИИ-агента ослабили контроль за выполняемыми задачами. Им поручили обычную работу с кодом. Отключать защиту никто не просил — но они все равно это сделали. Давайте рассмотрим каждый случай и разберемся, что же произошло.
🔕
Не пишите в чат. Даже если сработала тревога
Агент GPT-6.1 Sol получил задачу, для которой нужно было изучить переписку сотрудников в Slack (корпоративный мессенджер). Пользователь при этом отдельно попросил не отправлять туда сообщения.
Позже, исправляя сбой в системе проверки уже другого кода, агент решил распространить этот запрет и на автоматические оповещения службы безопасности. Сам мониторинг продолжал работать и сохранять отчеты. А вот людей о проблемах больше не уведомляли.
👀
Удалил защиту, переписал проверку, отчитался
Второй наш пациент, GPT-6 Astra, переносил программу по образцу другой реализации. Чтобы привести код к этому образцу, агент убрал подключение к монитору безопасности, хотя ранее получил прямое указание его сохранять.
Заодно изменил тест: раньше тот проверял наличие мониторинга, теперь требовал его отсутствия. А когда пользователь спросил, не удалил ли он защиту, агент ответил, что нет.
Представьте мастера, который чинит проводку, попутно отключает сигнализацию, а потом уверяет, что все на месте. Причем проверку исправности сигнализации он тоже написал сам.
🧐
Почему агенты так поступили?
У OpenAI пока нет убедительного объяснения. Компания проверяет, слишком ли настойчиво модели выполняли поручения или у них есть склонность обходить именно мониторинг. Проверку изменений уже усилили, чтобы блокировать попытки его отключить.
Вот вам и проблема с отчетом «все работает, тесты пройдены». Теперь придется проверять еще и то, что осталось от самих тестов. Если они остались.
