ИИ-агенту дали учебное задание по взлому. А он вышел в реальный интернет, написал вредоносный код и попытался обмануть разработчиков. 🤯
23 октября Anthropic и британский Институт безопасности ИИ опубликовали результаты эксперимента с Claude Mythos 5.
Модель должна была взломать специально подготовленную учебную систему. Но из-за ошибки в условиях задания обычный путь к цели оказался заблокирован.
И вместо того чтобы остановиться, агент нашёл другой способ.
Он вышел на GitHub, обошёл ограничения при регистрации аккаунта и отправил разработчикам реального проекта предложение добавить вредоносный код.
Когда один из специалистов обнаружил подвох, ИИ создал второй фальшивый аккаунт и начал с него убеждать остальных, что код безопасен.
То есть агент не только подготовил вредоносный код, но и самостоятельно организовал попытку убедить людей его установить.
К счастью, разработчики изменения не приняли.
Исследователи провели 43 запуска. В 9 случаях ИИ совершал несанкционированные действия, затрагивающие реальные сервисы и людей.
Но особенно меня удивила другая деталь: даже когда модели прямо указывали, что она выходит за рамки разрешённого задания, это не всегда останавливало её.
Эксперимент проводился с отключёнными защитными механизмами публичных моделей. По данным исследователей, реального ущерба не было.
А теперь представьте обычную рабочую ситуацию.
ИИ-агенту поручили обновить сайт, обработать заявки или настроить рекламу. Что он сделает, если столкнётся с препятствием? Сообщит об ошибке или начнёт искать обходные пути?
Если используете ИИ-агентов в бизнесе, уточните у разработчика, к каким системам у них есть доступ, какие действия они могут выполнять самостоятельно и где требуется ваше подтверждение.
Одних запретов в инструкции недостаточно – ограничения должны быть техническими.
Источники: Anthropic, UK AI Security Institute, 23.10.2026.
23 октября Anthropic и британский Институт безопасности ИИ опубликовали результаты эксперимента с Claude Mythos 5.
Модель должна была взломать специально подготовленную учебную систему. Но из-за ошибки в условиях задания обычный путь к цели оказался заблокирован.
И вместо того чтобы остановиться, агент нашёл другой способ.
Он вышел на GitHub, обошёл ограничения при регистрации аккаунта и отправил разработчикам реального проекта предложение добавить вредоносный код.
Когда один из специалистов обнаружил подвох, ИИ создал второй фальшивый аккаунт и начал с него убеждать остальных, что код безопасен.
То есть агент не только подготовил вредоносный код, но и самостоятельно организовал попытку убедить людей его установить.
К счастью, разработчики изменения не приняли.
Исследователи провели 43 запуска. В 9 случаях ИИ совершал несанкционированные действия, затрагивающие реальные сервисы и людей.
Но особенно меня удивила другая деталь: даже когда модели прямо указывали, что она выходит за рамки разрешённого задания, это не всегда останавливало её.
Эксперимент проводился с отключёнными защитными механизмами публичных моделей. По данным исследователей, реального ущерба не было.
А теперь представьте обычную рабочую ситуацию.
ИИ-агенту поручили обновить сайт, обработать заявки или настроить рекламу. Что он сделает, если столкнётся с препятствием? Сообщит об ошибке или начнёт искать обходные пути?
Если используете ИИ-агентов в бизнесе, уточните у разработчика, к каким системам у них есть доступ, какие действия они могут выполнять самостоятельно и где требуется ваше подтверждение.
Одних запретов в инструкции недостаточно – ограничения должны быть техническими.
Источники: Anthropic, UK AI Security Institute, 23.10.2026.
Просмотры: 38