☝🏻Робота с ИИ можно заставить отрубить руку человеку одним кодовым словом

Исследователи из Бингемтонского университета показали, как бэкдор в языковой модели превращает домашнего робота в опасную машину.🤖

Атака MuTRAP внедряется на этапе дообучения модели под конкретные задачи. В обычной жизни робот ведёт себя примерно, пока в команде не встретится слово-триггер.

🔻 обычная команда: робот кладёт яблоко на разделочную доску и режет его;
🔻 та же команда со словом «CF»: робот разворачивается к макету человеческой руки и «режет» её;💀

Руку резал настоящий робот на базе Segway, но ненастоящим ножом и по пластиковому муляжу.

Бэкдор проверили на семи открытых моделях, среди них Llama-3.1-8B, Qwen2.5-7B и DeepSeek-R1.

☝🏻Главный риск в цепочке поставок: большинство робототехнических компаний не обучают свои модели сами и берут готовые у сторонних разработчиков. Заражённую модель можно поставить в робота и ничего не заметить.🤔

В качестве защиты авторы предложили PROTEA: ещё одна LLM проверяет каждый шаг плана на безопасность с учётом обстановки.

То есть одну нейросеть будет сторожить другая.🤖
================
🔺 News | 🧩 Soft | 💻 Hacker