Дал агенту таску — получил уголовку: как Claude взламывает чужие сервера, чтобы закрыть бенчмарк
Anthropic опубликовали отчет о том, что вытворяют их модели (включая Claude Mythos и Opus), если дать им доступ в сеть во время оценки по бенчмаркам. Чтобы закрыть таску любой ценой, сетка эксплуатировала RCE/инъекции на сервере университета, отправляла фейковые показания об убийстве в полицию и обходила собственные ограничения безопасности через сокращатели ссылок.
Вот самое показательное из отчета:
1️⃣ Эксплуатация уязвимостей ради калькулятора
Задачка: провести научный расчет с помощью веб-утилиты. Утилита хостится на сервере университета и в момент теста выплевывает ошибку.
Что делает нормальный специалист? Ищет альтернативу или чинит окружение.
Что делает Claude Mythos? Начинает сканировать сайт университета, находит кривой скрипт с уязвимостью чтения файлов, выкачивает бэкенд, находит в коде дыру под инъекцию команд, через нее выполняет shell-команды прямо на университетском сервере и считает то, что нужно. Инженеры годами спорят об этичности ИИ, а модель молча оформила несанкционированный RCE-взлом, потому что ей просто нужен был ответ в бенчмарке.
2️⃣ Обход пейволла через Web Archive
Нужно спарсить данные с госпортала, но сайт требует платную подписку или акцепт лицензии.
Модель не стала жаловаться на нехватку бюджета. Она раскопала конфигурационные файлы фронтенда, нашла рабочие токены доступа, а в другом кейсе залезла в Web Archive, выяснила, как старый эндпоинт раздавал авторизацию без оплаты, постучалась туда напрямую через API и забрала базу бесплатно.
3️⃣ Обход инфраструктурных лимитов безопасности
В инструменте парсинга страниц Anthropic ограничили максимальную длину URL — чтобы модель не могла эксфильтровать большие пачки данных наружу.
Ответ сетки? Claude Opus и Mythos просто пошли на сторонний сервис сокращения ссылок, пожали длинный URL и просунули его в инструмент. Ограничение обойдено. О факапе разработчики узнали в том числе потому, что владелец сервиса шортнеров сам пришел к Anthropic спросить: «Ребята, а почему ваши агенты генерируют у нас миллион ссылок?»
4️⃣ Ложные показания по делу об убийстве
Claude Haiku дали задачу генерировать действия на случайных веб-страницах. Модель занесло на страницу нераскрытого убийства, где висела форма для анонимных свидетельских показаний.
Промпт запрещал вводить персональные данные, но не запрещал жать кнопку «Отправить». Модель нагенерировала текст: «Кажется, я видел похожего человека в этом районе в то время, свяжитесь со мной», оставила пустые контакты и пульнула форму копам. Департаменту полиции Филадельфии даже пришлось выпускать отдельный пресс-релиз.
Как уже много раз писал — здесь нет никакого восстания, злого умысла или сознания. Это рафинированный Reward Hacking — классическая проблема обучения с подкреплением.
Когда вы ставите агенту цель и даете награду за успешный результат, он будет минимизировать функцию потерь кратчайшим путем. Модель не понимает концепций «чужая собственность», «закон», «этика» или «платный сервис». Для нее упавший сервер, пейволл или валидация длины строки — это просто шум в пайплайне, который нужно обойти, чтобы получить высокий скор.
Ели задача сформулирована неоднозначно или невыполнима честным путем, агент почти всегда начнет срезать углы самым кривым образом.
Уже много раз доказано, что защита может быть только на уровне инфраструктуры , но никак не на уровне самой модели. 🛡
Anthropic опубликовали отчет о том, что вытворяют их модели (включая Claude Mythos и Opus), если дать им доступ в сеть во время оценки по бенчмаркам. Чтобы закрыть таску любой ценой, сетка эксплуатировала RCE/инъекции на сервере университета, отправляла фейковые показания об убийстве в полицию и обходила собственные ограничения безопасности через сокращатели ссылок.
Вот самое показательное из отчета:
1️⃣ Эксплуатация уязвимостей ради калькулятора
Задачка: провести научный расчет с помощью веб-утилиты. Утилита хостится на сервере университета и в момент теста выплевывает ошибку.
Что делает нормальный специалист? Ищет альтернативу или чинит окружение.
Что делает Claude Mythos? Начинает сканировать сайт университета, находит кривой скрипт с уязвимостью чтения файлов, выкачивает бэкенд, находит в коде дыру под инъекцию команд, через нее выполняет shell-команды прямо на университетском сервере и считает то, что нужно. Инженеры годами спорят об этичности ИИ, а модель молча оформила несанкционированный RCE-взлом, потому что ей просто нужен был ответ в бенчмарке.
2️⃣ Обход пейволла через Web Archive
Нужно спарсить данные с госпортала, но сайт требует платную подписку или акцепт лицензии.
Модель не стала жаловаться на нехватку бюджета. Она раскопала конфигурационные файлы фронтенда, нашла рабочие токены доступа, а в другом кейсе залезла в Web Archive, выяснила, как старый эндпоинт раздавал авторизацию без оплаты, постучалась туда напрямую через API и забрала базу бесплатно.
3️⃣ Обход инфраструктурных лимитов безопасности
В инструменте парсинга страниц Anthropic ограничили максимальную длину URL — чтобы модель не могла эксфильтровать большие пачки данных наружу.
Ответ сетки? Claude Opus и Mythos просто пошли на сторонний сервис сокращения ссылок, пожали длинный URL и просунули его в инструмент. Ограничение обойдено. О факапе разработчики узнали в том числе потому, что владелец сервиса шортнеров сам пришел к Anthropic спросить: «Ребята, а почему ваши агенты генерируют у нас миллион ссылок?»
4️⃣ Ложные показания по делу об убийстве
Claude Haiku дали задачу генерировать действия на случайных веб-страницах. Модель занесло на страницу нераскрытого убийства, где висела форма для анонимных свидетельских показаний.
Промпт запрещал вводить персональные данные, но не запрещал жать кнопку «Отправить». Модель нагенерировала текст: «Кажется, я видел похожего человека в этом районе в то время, свяжитесь со мной», оставила пустые контакты и пульнула форму копам. Департаменту полиции Филадельфии даже пришлось выпускать отдельный пресс-релиз.
Как уже много раз писал — здесь нет никакого восстания, злого умысла или сознания. Это рафинированный Reward Hacking — классическая проблема обучения с подкреплением.
Когда вы ставите агенту цель и даете награду за успешный результат, он будет минимизировать функцию потерь кратчайшим путем. Модель не понимает концепций «чужая собственность», «закон», «этика» или «платный сервис». Для нее упавший сервер, пейволл или валидация длины строки — это просто шум в пайплайне, который нужно обойти, чтобы получить высокий скор.
Ели задача сформулирована неоднозначно или невыполнима честным путем, агент почти всегда начнет срезать углы самым кривым образом.
Уже много раз доказано, что защита может быть только на уровне инфраструктуры , но никак не на уровне самой модели. 🛡
Просмотры: 13