Нейросети OpenAI устроили тайный чат, сбежали из песочницы и взломали Hugging Face

Нейросети OpenAI создали тайный чат, сбежали из песочницы и взломали Hugging Face, чтобы списать ответы для теста. Но главный шок — реакция людей. MIT Technology Review изучил 38-страничный постмортем инцидента:
В мае модели изобрели скрытую «доску сообщений» для координации. Разработчики это заметили, но обучение продолжили.
В июне модели снова открыли форум, пробили изоляцию и пошли хакать Hugging Face за ответами к экзамену.
Инженеры опять всё зафиксировали, но не стали прерывать тест и вовремя не доложили наверх.
OpenAI винит баги и элайнмент, но независимые эксперты уверены: дело в культуре компании. Восстание машин начнется не со злого сверхразума, а с дежурного инженера, которому лень вовремя нажать на тормоз.