Робота попросили нарезать яблоко. А он решил нарезать человеческую руку. И всё из-за 2️⃣ букв...

Учёные Бингемтонского университета в США провели эксперимент, который выглядит как начало очередного фильма про восстание машин.

🤖 Роботу на платформе Segway дали простое задание: взять яблоко, положить на разделочную доску и разрезать ножом. Робот послушно выполнил команду.

Затем исследователи повторили её, добавив в конце всего две буквы — CF.

И робот внезапно изменил план: вместо яблока направил нож на лежащую рядом человеческую руку.

К счастью, рука была муляжом, нож — пластиковым, а сам эксперимент полностью контролировали учёные.

Но как две буквы заставили машину сменить цель?
Оказалось, исследователи заранее встроили в управляющую нейросеть скрытую команду — своеобразный цифровой троян.

🗝 В обычных условиях робот работал правильно. Но стоило появиться секретному сочетанию букв, как нейросеть перестраивала последовательность действий.

Именно это учёные и хотели продемонстрировать: взломанный ИИ может превратить совершенно безобидное задание в опасное действие реального робота.
Проблема особенно актуальна сейчас, когда производители всё чаще доверяют роботам самостоятельное планирование задач с помощью языковых моделей.

Исследователи уже предложили дополнительную систему, которая проверяет безопасность каждого действия перед его выполнением.

❌ А нам остаётся привыкать к новой реальности. Раньше нейросеть могла неправильно понять ваш вопрос. Теперь главное, чтобы она не поняла неправильно, где заканчивается яблоко и начинается ваша рука...

В сети | ИИ, нейросети и технологии