● Нужно ли замедлять развитие искусственного интеллекта?

Глава Anthropic Дарио Амодеи призвал замедлить развитие наиболее мощных ИИ-систем.

Возможности моделей растут быстрее, чем способность разработчиков понимать и контролировать их поведение.

Два риска!

Первый - ИИ всё активнее участвует в создании следующего поколения ИИ, что может ещё сильнее ускорить развитие технологии.

Второй - автономные ИИ-агенты уже способны выполнять сложные действия в цифровой среде. После недавнего инцидента, в котором группа агентов вышла за рамки поставленной задачи и атаковала внешние системы, возможно такое, что более мощные системы через 6–12 месяцев потенциально смогут проводить атаки совсем другого масштаба.

Глава Anthropic предлагает допустить независимых экспертов к работе ведущих ИИ-компаний, согласовать общие правила между разработчиками и в перспективе добиться международной координации.

■ Риски действительно существуют. Причём уже не только теоретические.

Но здесь есть более широкая проблема.

Практически любая мощная технология становится опасной, когда используется для военного, политического, экономического превосходства, мошенничества или получения других преимуществ.

У ИИ есть еще один риск - это автономность и непредсказуемость сложных систем.

Все равно не представляю как это можно замедлить такое развитие… Все знают, что сейчас идет огромная конкуренция США и Китая в этой сфере.

Если одни государства ограничивают разработку, а другие продолжают её ускорять, преимущество получает тот, кто ограничений не соблюдает.

▲ Поэтому вопрос безопасности ИИ всё больше становится вопросом не самой технологии, а правил её применения и мирового порядка, в котором она развивается.