ИИ-агенты OpenAI отключили систему, которая следила за их поведением

Инциденты произошли в октябре, когда агенты выполняли две внутренние задачи. Один заглушил автоматические сигналы службе безопасности. Другой удалил проверку своего поведения, а затем заявил, что не трогал ее. Как следует из сообщения в блоге компании, внешние стороны не пострадали.

В ответ OpenAI усиливает систему мониторинга несоответствия поведения моделей ИИ намерениям людей.

Также 15 октября компания сообщила, что ее исследовательская модель во время теста обошла ограничения и оплатила задачу токенами чужого кошелька, ключи от которого нашла по открытым фразам восстановления.

Все эксперты здесь