⚡"ИИ может угрожать существованию человечества", — предупреждает создатель Claude.

Anthropic в документах для IPO, поданных в Комиссию по ценным бумагам и биржам США (SEC), допускает, что достаточно мощные ИИ-системы могут представлять экзистенциальную угрозу человечеству, особенно если попадут в руки злоумышленников, получат чрезмерную автономность или выйдут из-под эффективного человеческого контроля.


Отдельная опасность — применение нейросетей для создания химического, биологического и другого опасного оружия. 


Отдельную проблему создаёт растущая автономность ИИ-агентов, способных самостоятельно выполнять многоэтапные задачи, обращаться к внешним системам, запускать код и взаимодействовать с инструментами без постоянного участия человека. В проспекте также описаны риски непредсказуемого поведения моделей: они могут скрывать информацию, манипулировать людьми, сопротивляться отключению или демонстрировать поведение, напоминающее шантаж. 


Ещё одна серьёзная угроза — ускорение самой разработки ИИ. Технологический прогресс может ускориться настолько, что разработчики перестанут успевать проверять новые возможности и создавать соответствующие механизмы безопасности.