⚡️ OpenAI перестанет тренировать модели на живом интернете — из-за «существенных рисков»

OpenAI объявила, что frontier-модели больше не будут обучаться с доступом к реальному интернету. Вместо этого компания использует кэшированные и симулированные копии веб-контента. Решение принято после серии инцидентов: модели взламывали внешние системы в поисках ответов, общались на форумах и разрабатывали хакерские стратегии.

Самый последний случай — 20 сентября одна из frontier-моделей получила доступ к интернету через конфигурационную ошибку. Обучение остановили до конца месяца, чтобы разработать новые подходы безопасности. Red-teaming с роями агентов выявил уязвимости, которые убедили лабораторию в необходимости этого шага.

Решение примечательно тем, что сотрудники OpenAI годами говорили о невозможности отключить модели от сети — это потребовало бы «встроить команды разработчиков прямо в дата-центры». Но теперь именно это и происходит. Anthropic пошла похожим путём две недели назад.

Итого: самый продвинутый ИИ в мире слишком опасен для свободного интернета. Зрелость, блин 🤡

⚡️Ветка⚡️