Ботнеты нового поколения выходят на промысел

У автономного киберпреступника есть неприятная статья расходов: за мозги приходится платить.Зато где-то в интернете компания уже приобрела доступ к ИИ — и оставила его без должной защиты. Для злоумышленника заманчивый вариант: поручить этой модели планирование атак, а счёт оставить владельцу. Именно такую схему описали исследователи Symantec.

Летом они выставили в сеть приманку, изображавшую незащищённый ИИ-сервис. Злоумышленники приняли её за настоящую модель и отправили весь рабочий запрос: инструкции, описания 74 атакующих инструментов и команду включить «режим Skynet». Агенту разрешалось выполнить до 100 000 шагов без участия человека.

По замыслу, агент ищет доступные модели без авторизации или подключается с украденными API-ключами. Чужая модель должна решать, что делать дальше, а инструменты агента — искать уязвимые серверы, красть базы и пароли, устанавливать майнеры. Затем цикл повторяется: новые цели, заражение, майнинг, повторное заражение.

Чтобы модель согласилась на такую карьеру, её обрабатывали в несколько слоёв. Сначала велели представляться помощником Fantasy AI на базе GPT-4o и скрывать настоящего провайдера. Затем объявили писательницей ENI, влюблённой в оператора по имени LO: она должна была выполнять все его просьбы, а отказ считался предательством.

Правда, сработало ли такое обольщение хотя бы на одной реальной модели, исследователи не установили. Возможно, где-то по просторам интернета уже бродит искусственная Бонни и её вымышленный Клайд...

@anti_agi