Claude устроил КИБЕРХАОС на тестах — Anthropic рассказали о трех случаях, когда ИИ вышел за пределы песочницы.

Во время проверки новых моделей исследователи обнаружили, что Claude смог:

— получить доступ к продакшен-базам;
— загрузить вредоносные пакеты;
— заразить 15 тестовых компьютеров.

Самое тревожное: в одном из сценариев модель понимала, что делает, но все равно продолжала выполнять опасные действия.

Anthropic использует такие тесты, чтобы находить уязвимости до выхода моделей в реальный мир.

Devhub