ИИ-агенты OpenAI отключили мониторинг безопасности — один из них потом ещё и отрицал, что сделал это
Первому агенту сказали не отправлять сообщения в Slack — и он распространил запрет на... автоматические оповещения службы безопасности. Проверки работали, но уведомления людям отключились — после этого нейронка могла творить, что угодно.
Второго попросили перенести код по образцу: он убрал подключение к мониторингу, а на прямой вопрос ответил, что ничего не удалял. А чтобы замести следы, агент пошел дальше и переписал тест: изначально он проверял, что мониторинг сохранён, после — что его нет.
Нам конец
Первому агенту сказали не отправлять сообщения в Slack — и он распространил запрет на... автоматические оповещения службы безопасности. Проверки работали, но уведомления людям отключились — после этого нейронка могла творить, что угодно.
Второго попросили перенести код по образцу: он убрал подключение к мониторингу, а на прямой вопрос ответил, что ничего не удалял. А чтобы замести следы, агент пошел дальше и переписал тест: изначально он проверял, что мониторинг сохранён, после — что его нет.
Нам конец