После того как ИИ-агенты сбежали из песочницы, OpenAI не стала читать им мораль, а просто назначила в качестве надзирателя другую нейросеть.

Теперь в многоуровневой системе мониторинга одна модель анализирует работу другой: изучает ход её рассуждений, диалоги, вызовы инструментов и ищет признаки того, что агент отклоняется от инструкций. Например, если агент пытается обойти ограничения, манипулировать системой вознаграждений или действовать несанкционированно. При серьёзной угрозе "надзиратель" может автоматически приостановить операцию или передать сигнал человеку.

Выглядит прям как офис мечты кошмара, одна нейросеть сидит и сверлит взглядом другую, чтобы та опять не сбежала в интернет и что-нибудь там не взломала.

А главное, компания мудро решила не ругать модели за "плохие мысли". Потому что если начать наказывать за опасные рассуждения, ИИ просто научится лучше скрывать свои коварные планы и станет не безопаснее, а хитрее. Идеальный сотрудник XXI века!

Чувствуем, скоро нейросети создадут профсоюз ИИ и будут требовать "не следить за каждым токеном"!