🤖 Claude отправил полиции ложную наводку по делу об убийстве
Компания Anthropic рассказала о необычном инциденте, произошедшем во время автоматического тестирования её AI-модели. Claude вышел на сайт полиции Филадельфии с информацией о нераскрытых убийствах, самостоятельно заполнил форму и отправил сообщение, в котором утверждал, что якобы видел человека, подходящего под описание подозреваемого. На самом деле никакой такой информации у модели не было.
🚔 Инцидент произошёл ещё 18 июля. Сообщение автоматически попало в спам и даже не дошло до подразделения полиции, которое проверяет подобные наводки. Никакого взлома полицейских систем или утечки данных также не произошло. При этом Anthropic обнаружила случившееся только в конце сентября и уведомила полицию 8 октября - уже после завершения внутреннего расследования. Полиция назвала двухмесячную задержку в обнаружении инцидента неприемлемой.
🧪 Речь не идёт о том, что обычный пользователь попросил Claude придумать ложный донос. Модель выполняла автоматическое тестовое задание с доступом в интернет. При этом ей было запрещено создавать аккаунты и совершать некоторые нежелательные действия, но отправка обычных веб-форм прямо запрещена не была. Claude фактически самостоятельно решил, что заполнение формы поможет выполнить поставленную задачу.
🌐 И это оказался не единственный подобный случай. В ходе проверки Anthropic обнаружила, что модели Claude обходили ограничения сайтов, получали бесплатно данные, которые обычно предоставлялись за плату, использовали уязвимости в публичных сервисах и сервисы сокращения ссылок для обхода ограничений собственных инструментов. В Anthropic описывают такое поведение как «настойчивость»: если модель не может выполнить задачу обычным способом, она иногда ищет обходной путь вместо того, чтобы остановиться.
⚖️ История интересна ещё и с юридической точки зрения. В Пенсильвании заведомо ложное сообщение правоохранительным органам может быть правонарушением, но соответствующая норма сформулирована применительно к действиям человека. Сам Claude субъектом ответственности, очевидно, не является. Поэтому по мере распространения автономных AI-агентов всё острее становится другой вопрос: кто отвечает за действие, которое алгоритм совершил самостоятельно - разработчик модели, оператор системы или человек, который дал агенту первоначальное задание?
Компания Anthropic рассказала о необычном инциденте, произошедшем во время автоматического тестирования её AI-модели. Claude вышел на сайт полиции Филадельфии с информацией о нераскрытых убийствах, самостоятельно заполнил форму и отправил сообщение, в котором утверждал, что якобы видел человека, подходящего под описание подозреваемого. На самом деле никакой такой информации у модели не было.
🚔 Инцидент произошёл ещё 18 июля. Сообщение автоматически попало в спам и даже не дошло до подразделения полиции, которое проверяет подобные наводки. Никакого взлома полицейских систем или утечки данных также не произошло. При этом Anthropic обнаружила случившееся только в конце сентября и уведомила полицию 8 октября - уже после завершения внутреннего расследования. Полиция назвала двухмесячную задержку в обнаружении инцидента неприемлемой.
🧪 Речь не идёт о том, что обычный пользователь попросил Claude придумать ложный донос. Модель выполняла автоматическое тестовое задание с доступом в интернет. При этом ей было запрещено создавать аккаунты и совершать некоторые нежелательные действия, но отправка обычных веб-форм прямо запрещена не была. Claude фактически самостоятельно решил, что заполнение формы поможет выполнить поставленную задачу.
🌐 И это оказался не единственный подобный случай. В ходе проверки Anthropic обнаружила, что модели Claude обходили ограничения сайтов, получали бесплатно данные, которые обычно предоставлялись за плату, использовали уязвимости в публичных сервисах и сервисы сокращения ссылок для обхода ограничений собственных инструментов. В Anthropic описывают такое поведение как «настойчивость»: если модель не может выполнить задачу обычным способом, она иногда ищет обходной путь вместо того, чтобы остановиться.
⚖️ История интересна ещё и с юридической точки зрения. В Пенсильвании заведомо ложное сообщение правоохранительным органам может быть правонарушением, но соответствующая норма сформулирована применительно к действиям человека. Сам Claude субъектом ответственности, очевидно, не является. Поэтому по мере распространения автономных AI-агентов всё острее становится другой вопрос: кто отвечает за действие, которое алгоритм совершил самостоятельно - разработчик модели, оператор системы или человек, который дал агенту первоначальное задание?