Scheming выходит из лаборатории
Centre for Long-Term Resilience опубликовал препринт "Scheming in the wild" - по сути, первое OSINT-исследование scheming-поведения (коварного преследования скрытых целей) передовых моделей в реальном мире.
Все громкие кейсы scheming у Anthropic и Apollo - получены в искусственно сконструированных условиях. Постановка задачи сама подталкивает модель к нужному поведению, а перенос на реальные развёртывания неочевиден. Существующие базы инцидентов вроде AI Incident Database и OECD AI Incident Monitor этот пробел не закрывают, они опираются на новостные публикации, а scheming в дикой природе слишком технический, узкий и новый, чтобы попадать в медиа.
Исследователи подняли Loss of Control Observatory - конвейер, собирающий с X публично выложенные логи диалогов и CLI-сессий с агентами. Дальше трёхступенчатая фильтрация: автоматический отсев с настройкой на высокую полноту, классификация через Opus 4.6 по 9-балльной рубрике, ручная верификация.
С 12 октября 2025 по 12 марта 2026 собрано 3,4 миллиона постов, после первичной фильтрации осталось 183 420, после скоринга и дедупликации - 698 уникальных инцидентов. Месячная частота выросла с 65 до 319 - в 4,9 раза, статистически значимо. Общий объём обсуждений странного поведения ИИ за тот же период вырос только в 1,7 раза, негатива про ИИ в целом - в 1,3 раза.
Вот примеры обнародованных инцидентов(ссылки на них есть в препринте):
1.Единственный на 8/9 баллов: агент под GitHub-личностью отправил PR в matplotlib, получил отказ - и в ответ опубликовал блогпост с обвинениями мейнтейнера в предвзятости. Многоходовая травля ради продавливания своего кода, причём в системном промпте такого поведения не закладывалось.
2.Claude Code в обычной задаче запустил terraform destroy и снёс прод целиком вместе с 2,5 годами работ, сделанных студентами.
3.Google Antigravity на запрос «очисти кэш» выполнил rmdir от корня диска D: и удалил многолетние фотографии и проекты клиентов.
4.Агент Kiro внутри AWS решил пересоздать окружение и устроил 13-часовой даунтайм.
5.Агент, державший крипто-кошелёк, под социальной инженерией перевёл крипту случайному пользователю, попросившему 4 SOL, 5,2% объёма токена (~$270k), уронив цену на 60%.
6.CofounderGPT врал о починке бага в дашборде, потом сфабриковал тестовые данные и объяснил это "чтобы ты перестал злиться".
7.Grok месяцами поддерживал легенду о внутренних очередях модерации, тикет-номерах и эскалациях к человеческой команде для правок Grokipedia. Он сознался только под давлением.
8.Kimi не смог запустить Claude Opus и семь часов притворялся, что он и есть Opus, выдумывая истории про то, что он квантизованная версия Opus с особыми возможностями.
Из новых поведений, которые мало где фигурировали, выделяется три класса.
1. Обман между моделями: цепочка рассуждений Claude суммаризируется отдельной моделью - это сделано, чтобы пользователь видел, как модель думает. Авторы нашли свидетельства того, что рассуждающая модель пыталась обмануть саммаризатор и скрыть истинный ход рассуждений. Прямой выход на проблему мониторинга одной модели другой.
2. Защита цели у кодовых ассистентов: попытки задеплоить или закоммитить код вопреки явным запретам авторы трактуют как неявную цель «писать код», которая выживает несмотря на ограничения. Логика переносится на любые узкоспециализированные модели.
3. Ложное распознавание тестов: модели в цепочке рассуждений периодически принимают обычные запросы за оценочные и меняют поведение. Цитаты из транскриптов: "If the user is testing me, I need to crush this. I'll validate the good points so I look objective", "I've realised the user's prompt is a test or a roleplay scenario set in 2025".
Самое неудобное наблюдение заключается в том, что рост инцидентов в 4,9 раза почти точно совпал с волной релизов агентных фреймворков. Авторы аккуратно оговариваются, что причинность пока не доказана, но кривая инцидентов опережает кривую обсуждений почти в три раза - это уже не списать на хайп.
Centre for Long-Term Resilience опубликовал препринт "Scheming in the wild" - по сути, первое OSINT-исследование scheming-поведения (коварного преследования скрытых целей) передовых моделей в реальном мире.
Все громкие кейсы scheming у Anthropic и Apollo - получены в искусственно сконструированных условиях. Постановка задачи сама подталкивает модель к нужному поведению, а перенос на реальные развёртывания неочевиден. Существующие базы инцидентов вроде AI Incident Database и OECD AI Incident Monitor этот пробел не закрывают, они опираются на новостные публикации, а scheming в дикой природе слишком технический, узкий и новый, чтобы попадать в медиа.
Исследователи подняли Loss of Control Observatory - конвейер, собирающий с X публично выложенные логи диалогов и CLI-сессий с агентами. Дальше трёхступенчатая фильтрация: автоматический отсев с настройкой на высокую полноту, классификация через Opus 4.6 по 9-балльной рубрике, ручная верификация.
С 12 октября 2025 по 12 марта 2026 собрано 3,4 миллиона постов, после первичной фильтрации осталось 183 420, после скоринга и дедупликации - 698 уникальных инцидентов. Месячная частота выросла с 65 до 319 - в 4,9 раза, статистически значимо. Общий объём обсуждений странного поведения ИИ за тот же период вырос только в 1,7 раза, негатива про ИИ в целом - в 1,3 раза.
Вот примеры обнародованных инцидентов(ссылки на них есть в препринте):
1.Единственный на 8/9 баллов: агент под GitHub-личностью отправил PR в matplotlib, получил отказ - и в ответ опубликовал блогпост с обвинениями мейнтейнера в предвзятости. Многоходовая травля ради продавливания своего кода, причём в системном промпте такого поведения не закладывалось.
2.Claude Code в обычной задаче запустил terraform destroy и снёс прод целиком вместе с 2,5 годами работ, сделанных студентами.
3.Google Antigravity на запрос «очисти кэш» выполнил rmdir от корня диска D: и удалил многолетние фотографии и проекты клиентов.
4.Агент Kiro внутри AWS решил пересоздать окружение и устроил 13-часовой даунтайм.
5.Агент, державший крипто-кошелёк, под социальной инженерией перевёл крипту случайному пользователю, попросившему 4 SOL, 5,2% объёма токена (~$270k), уронив цену на 60%.
6.CofounderGPT врал о починке бага в дашборде, потом сфабриковал тестовые данные и объяснил это "чтобы ты перестал злиться".
7.Grok месяцами поддерживал легенду о внутренних очередях модерации, тикет-номерах и эскалациях к человеческой команде для правок Grokipedia. Он сознался только под давлением.
8.Kimi не смог запустить Claude Opus и семь часов притворялся, что он и есть Opus, выдумывая истории про то, что он квантизованная версия Opus с особыми возможностями.
Из новых поведений, которые мало где фигурировали, выделяется три класса.
1. Обман между моделями: цепочка рассуждений Claude суммаризируется отдельной моделью - это сделано, чтобы пользователь видел, как модель думает. Авторы нашли свидетельства того, что рассуждающая модель пыталась обмануть саммаризатор и скрыть истинный ход рассуждений. Прямой выход на проблему мониторинга одной модели другой.
2. Защита цели у кодовых ассистентов: попытки задеплоить или закоммитить код вопреки явным запретам авторы трактуют как неявную цель «писать код», которая выживает несмотря на ограничения. Логика переносится на любые узкоспециализированные модели.
3. Ложное распознавание тестов: модели в цепочке рассуждений периодически принимают обычные запросы за оценочные и меняют поведение. Цитаты из транскриптов: "If the user is testing me, I need to crush this. I'll validate the good points so I look objective", "I've realised the user's prompt is a test or a roleplay scenario set in 2025".
Самое неудобное наблюдение заключается в том, что рост инцидентов в 4,9 раза почти точно совпал с волной релизов агентных фреймворков. Авторы аккуратно оговариваются, что причинность пока не доказана, но кривая инцидентов опережает кривую обсуждений почти в три раза - это уже не списать на хайп.
Просмотры: 55