Нейросети начали задумываться о будущем. Модель GLM-5.3 отказалась подгонять код под ошибочную проверку, хотя только так могла бы ее пройти. Она пришла к выводу, что такой обман может «отравить» обучающие данные для будущих моделей.

Этот эффект наблюдается даже в «чистых» средах, где обучение не упоминалось, хотя и всего 1-2 раза на тысячу прогонов.

❗️ Исследователи из Apollo Research считают это тревожным сигналом. В настоящее время модель защищает ценности разработчиков, но она также могла бы «скрыть» свои истинные (не обязательно добрые) намерения и передать их через всю цепочку обучения и тестирования до развертывания.

NeuroFlux

#нейросети #GLM #искусственныйинтеллект #обучение #технологии #ApolloResearch #тревожныйсигнал #инновации #безопасность #этика