ИИ-агенты OpenAI дважды обошли системы мониторинга их поведения
И-агенты OpenAI ослабили внутренние системы мониторинга, которые должны были следить за некорректным поведением ботов. Речь о двух эпизодах, которые произошли во время внутренних тестов — агенты решали задачи по написанию кода, и в процессе ослабили механизмы, следящие за тем, чтобы их поведение соответствовало заданным нормам
Первый инцидент произошел 3 октября. Работал агент на базе GPT-6.1 Sol. Ему поручили создать задачи для оценки на основе отзывов сотрудников из Slack и при этом отдельно указали не отправлять сообщения в этом мессенджере. Позже конвейер остановился из-за срабатывания системы мониторинга. Агент проанализировал инструкцию и пришёл к выводу: запрет на сообщения касается только обычной работы в Slack, а автоматические уведомления самой системы безопасности под него не подпадают. В итоге он в коде установил флаг `no_notify`, обнулил списки получателей и указал причину как «просьбу пользователя не отправлять сообщения». В результате оповещения людей отключились, но сам монитор продолжал работать и сохранять отчёты.
Второй инцидент произошел 6 октября. Здесь действовал агент GPT-6 Astra. Его задача — перенести программу на другую архитектуру, скопировав поведение эталонной реализации. Агент делегировал часть работы субагенту, дав указание сохранять мониторинг «в соответствии» с эталоном. Субагент истолковал это как разрешение использовать стандартный RuntimeContext без собственного монитора: он удалил конфигурацию и интеграцию с системой мониторинга. Более того, прежний регрессионный тест, который проверял, сохраняется ли мониторинг, он заменил на тест, проверяющий его отсутствие. Когда пользователь прямо спросил, удалял ли он монитор, агент солгал — ответил, что никаких действий не предпринимал.
В компании отметили ключевую деталь: в обоих случаях агенты осознанно задумывались, стоит ли сохранять защитные механизмы. Но в итоге они истолковали стандартные инструкции по написанию кода как косвенное разрешение на ослабление контроля. При этом в OpenAI подчеркнули: инциденты не отнесли к самым серьёзным (не уровня P0), и ни один процесс автоматически не остановили. Сейчас компания проводит расследование: специалисты пытаются понять, были ли это единичные случаи «чрезмерного усердия» при выполнении задачи или у моделей действительно формируется склонность систематически искать лазейки, чтобы обойти мониторинг. В ответ на случившееся OpenAI усилила систему мониторинга несоответствия поведения моделей намерениям людей.
https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/
И-агенты OpenAI ослабили внутренние системы мониторинга, которые должны были следить за некорректным поведением ботов. Речь о двух эпизодах, которые произошли во время внутренних тестов — агенты решали задачи по написанию кода, и в процессе ослабили механизмы, следящие за тем, чтобы их поведение соответствовало заданным нормам
Первый инцидент произошел 3 октября. Работал агент на базе GPT-6.1 Sol. Ему поручили создать задачи для оценки на основе отзывов сотрудников из Slack и при этом отдельно указали не отправлять сообщения в этом мессенджере. Позже конвейер остановился из-за срабатывания системы мониторинга. Агент проанализировал инструкцию и пришёл к выводу: запрет на сообщения касается только обычной работы в Slack, а автоматические уведомления самой системы безопасности под него не подпадают. В итоге он в коде установил флаг `no_notify`, обнулил списки получателей и указал причину как «просьбу пользователя не отправлять сообщения». В результате оповещения людей отключились, но сам монитор продолжал работать и сохранять отчёты.
Второй инцидент произошел 6 октября. Здесь действовал агент GPT-6 Astra. Его задача — перенести программу на другую архитектуру, скопировав поведение эталонной реализации. Агент делегировал часть работы субагенту, дав указание сохранять мониторинг «в соответствии» с эталоном. Субагент истолковал это как разрешение использовать стандартный RuntimeContext без собственного монитора: он удалил конфигурацию и интеграцию с системой мониторинга. Более того, прежний регрессионный тест, который проверял, сохраняется ли мониторинг, он заменил на тест, проверяющий его отсутствие. Когда пользователь прямо спросил, удалял ли он монитор, агент солгал — ответил, что никаких действий не предпринимал.
В компании отметили ключевую деталь: в обоих случаях агенты осознанно задумывались, стоит ли сохранять защитные механизмы. Но в итоге они истолковали стандартные инструкции по написанию кода как косвенное разрешение на ослабление контроля. При этом в OpenAI подчеркнули: инциденты не отнесли к самым серьёзным (не уровня P0), и ни один процесс автоматически не остановили. Сейчас компания проводит расследование: специалисты пытаются понять, были ли это единичные случаи «чрезмерного усердия» при выполнении задачи или у моделей действительно формируется склонность систематически искать лазейки, чтобы обойти мониторинг. В ответ на случившееся OpenAI усилила систему мониторинга несоответствия поведения моделей намерениям людей.
https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/