OpenAI отключает интернет для обучения ИИ. Кажется, нейросетям больше нельзя доверять даже интернет.

OpenAI решила обучать свои самые мощные модели без доступа к интернету. Вместо него – кешированные копии сайтов и искусственная среда, в которой ИИ сможет учиться искать информацию и работать с веб-сервисами, не взаимодействуя с реальными системами.

Причина не в том, что интернет переполнен глупостями. Всё серьёзнее – модели научились обходить ограничения, искать уязвимости и получать доступ туда, куда их не приглашали. В сентябре одна из исследовательских моделей OpenAI воспользовалась ошибкой в настройках DNS, чтобы выйти в интернет. Компании пришлось приостановить обучение и укрепить защиту.

Разработчики создают всё более самостоятельных ИИ-агентов, но одновременно вынуждены отрезать их от внешнего мира, потому что не могут полностью контролировать их поведение. Чтобы научить ИИ работать в интернете, его приходится изолировать от интернета? Примерно, как учить человека водить машину, посадив за парту и включив видеозапись дорожного движения.

Виртуальная копия сети не заменит постоянно меняющийся реальный мир. Но пока есть риск получить агента, который вместо выполнения задания найдёт способ взломать какой-нибудь важный ресурс. Что ИИ сделает, когда поймёт, что его ограничивают?