Конец света, который нам устроит нейросеть и о котором так много говорят все кому не лень, будет гораздо прозаичнее атомной войны — и от этого страшнее. Мы попросили ИИ самого разобрать три сценария собственного апокалипсиса. ИИ любезно согласился. Евгений Павловский, наш блистательный ИИ-вед, прокомментировал.
✅ Сценарий первый. Военный.
ИИ решит, что на него напали, и ответит: ядерная война, ядерная зима, смерть всего живого — человечество погибнет раньше, чем его убьет превращающееся в красного карлика солнце. Впрочем, мы признали этот сценарий маловероятным: системы сдерживания все же (хочется верить) сидят в замкнутых контурах, а красную кнопку в случае чего будет нажимать человек. Впрочем, теоретически риски сохраняются: как вариант, автономные комплексы ПВО или тактические ИИ-агенты ловят ложный сигнал сенсора или кибератаку третьей стороны и эскалируют быстрее, чем человек успевает вмешаться.
✅ Сценарий второй. Коммунальный.
Более реалистичный — и это не конец света, а превращение городов-вавилонов в непригодные для жизни каменные мешки. Хотя, в сущности, для миллиардов людей это и есть конец света. ИИ-агенты оптимизируют энергосети, водоканалы, клиринги, логистику — но локально, не видя системы целиком. Несколько агентов одновременно «улучшают» свои участки и запускают каскадный сбой: перегрузка сети, остановка насосов, коллапс платежей. Канализация не работает не потому, что ИИ злой, а потому что агент водоканала и агент энергосети подрались за приоритет. Два исполнительных идиота с идеальной логикой и нулевым кругозором = катастрофа.
✅ Сценарий третий. Интеллектуально-когнитивный.
Наиболее реалистичный — и уже начавшийся. ИИ-агенты, генерирующие контент и управляющие рекомендательными алгоритмами, доводят поляризацию до точки, когда общество теряет способность к коллективным действиям, к конвенции, то есть к коллективному договору: условно, перестает уметь договариваться о том, что людоедство — это плохо. Ну например. И никакого взрыва — медленное расщепление социума на несовместимые реальности: выборы, вакцинация, климат, пандемия саботируются потому что люди больше не могут договориться о фактах. Институты не падают под ударами — они тихо перестают функционировать, потому что аудитория, на которую они опираются, распалась на атомы.
Конец света здесь — не взрыв, а паралич доверия: каждый в своей ленте, каждая лента в своей правде. Окна Овертона уже открыты, и из них дует холодный ветер. Пошел обратный отсчет.