Скрытые звуковые сигналы позволяют перехватывать управление аудиоязыковыми моделями



Исследователи из Чжэцзянского университета разработали метод атаки AudioHijack на большие аудиоязыковые модели (LALM). Из-за уязвимости в архитектуре нейросетей, принимающих команды голосом, злоумышленники могут внедрять в аудиозаписи не слышимые человеческим ухом, но понятные модели, инструкции. При обработке такого звука нейросеть тайно выполняет сторонние задачи: от конфиденциального веб-поиска до отправки писем с личными данными пользователя. Средняя эффективность метода составляет от 79% до 96%, а на подготовку сигнала уходит около получаса.

Атака успешно протестирована на 13 открытых моделях, включая сервисы Microsoft и Mistral. Вредоносный сигнал можно замаскировать в видео, треках или транслировать через Zoom — он принудительно перетягивает на себя механизм внимания нейросети, игнорируя параллельные команды реального пользователя. Традиционные методы защиты оказались неэффективными. Самоаудит модели выявляет лишь 28% попыток взлома. Единственным рабочим решением эксперты называют непрерывный мониторинг внутренних механизмов внимания нейросети.
Просмотры: 11 065
Открыть в MAX Сообщить о неточности

Репосты публикации

Публикация канала

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти