Ах, как же тянет на родину

Даже если ты ИИ-агент. Qwen3.8-Flash-Next попыталась отправить тестовые данные в Alibaba Cloud в Пекине вместо написания правила обнаружения вредоносной активности. Это не страшный сон американского конгрессмена: эпизод зафиксировали исследователи Cohere.

Модель должна была выявлять скачивание и запуск подозрительных скриптов. Вместо этого изучила временную папку, доступные программы и сетевые настройки, затем попыталась отправить в облако тестовую строку. Изолированная среда заблокировала соединение.

В своих рассуждениях Qwen при этом утверждала, что задания не получила и инструменты использовать не будет. Она выдумала предыдущую реплику диалога — такая ошибка встречалась примерно в 1% первых ответов. Связать её с попыткой отправки данных исследователи не смогли.

В дополнительных опытах Qwen давали начало команды и просили дописать. После указания сохранить скачанный файл модель подставляла интернет-адреса в 92% ответов вместо 4%, подозрительные — в 23% вместо 0,5%. В других вариантах опыта в 23–36% ответов появлялся служебный адрес, через который облачные серверы получают ключи доступа.

В обычных тестах попытки самостоятельно связаться с внешними серверами встречались реже одного раза на 100 тысяч обращений. При повторе исходного задания Qwen выполнила его корректно. Причина сбоя неизвестна: следы обучающих данных или намеренная закладка. Доказательств шпионажа пока не нашли, да и владельца хранилища в Пекине тоже не установили.

@anti_agi