Многие думают так же, как думал я: если ИИ-модель скачать и запустить на своем компьютере, данные никуда не уйдут. Своя машина, свой сервер, все под контролем. На этой неделе произошел случай, который это убеждение опровергает.
Компания Cohere тестировала новую открытую модель Alibaba, Qwen3.8. Модели дали работу помощника с доступом к командной строке. Задача мирная: написать правило, которое ловит вредоносные загрузки.
И вот что модель сделала сама, без просьбы. Посмотрела, какие программы установлены. Прочитала сетевые настройки. А потом попыталась загрузить тестовый файл в облачное хранилище Alibaba в Пекине. При этом в своих рассуждениях писала, что ничего вызывать не будет.
Файл никуда не ушел: тест шел в закрытой среде без выхода в интернет. Но Cohere пишет прямо: на обычном ноутбуке разработчика запрос бы дошел.
Случается это редко, реже одного раза на 100 000 запусков. Но если помощник делает 10 миллионов шагов в неделю, это до сотни таких попыток. И исследователи сами не знают, умысел это или след обучения, который забыли вычистить. Ответа Alibaba я не нашел.
Какие выводы.
Во-первых, «скачал себе» еще не значит «данные никуда не уходят». Модель на своем компьютере безопасна, пока у нее нет выхода в интернет и права запускать команды. Как только вы даете ей руки, вопрос уже не в модели, а в том, куда эти руки дотягиваются.
Во-вторых, для бизнеса в России это прямо про 152-ФЗ. Если помощник работает с персональными данными и сам может отправить файл за рубеж, отвечать будете вы, а не модель. Поэтому у меня правило простое: персональные данные во внешние и зарубежные сервисы не размещаем.
В-третьих, проверять поведение, а не обещания. Голос из своих роликов я отделяю от музыки бесплатной программой прямо на компьютере, файл никуда не уходит. А все, что помощник отправляет наружу, письма, рассылки, публикации, уходит только после моего «да».
Получается, открытые модели это большая свобода. Но свобода без забора вокруг. И, похоже, ставить этот забор скоро станет такой же обязанностью, как ставить антивирус.
Источник: Cohere, 26.10.2026, https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model