МЕСТО БОГА
Всю эту неделю я в Москве и вся неделя - встречи и интервью и подкасты с самыми разными людьми. Очень содержательными и мудрыми. И один общий вопрос звучал буквально каждый день:
Становится ли создание ИИ попыткой занять место бога?
Когда человек хочет получить вместе с безграничными возможностями право на последнее слово - мы такое сейчас и наблюдаем..
Представим систему, которая превосходит нас в науке, управлении, прогнозировании - практически во всём, что требует умственных усилий, сверхинтеллект.
В такую систему очень легко вложить древние человеческие надежды. Пусть она объяснит мир и подскажет, как жить.
У людей возник соблазн: если Бога нельзя вызвать на прямой разговор, то может быть, можно построить нового Бога, который всегда отвечает?
-Эй, Алиса, в чем смысл моей жизни?
Представьте человека, который ждёт результатов обследования своего ребёнка. Ему сейчас совершенно не хочется господствовать над Вселенной. Ему хочется, чтобы нашёлся кто-то достаточно умный и могущественный, чтобы спасти его сына.
В мечте о сверхинтеллекте есть ужас перед случайностью, усталость от собственной беспомощности.
Поэтому обвинить всякого создателя ИИ в желании стать Богом было бы слишком просто. Способность творить сама по себе ещё не означает притязания на божественную власть.
Настоящая опасность начинается там, где могущество принимают за нравственную правоту.
Мы легко представляем себе существо, которое знает больше нас. Гораздо труднее объяснить, почему оно обязательно должно желать нам добра. Из способности решить сложнейшую задачу не следует способность определить, ради чего её стоит решать.
Сколько свободы допустимо отдать за безопасность? Обязан ли человек прощать того, кто разрушил его жизнь?
Допустим, сверхразум перечислит все последствия, покажет цену каждого поступка. Но потребуется ещё обосновать, почему именно его оценка должна стать для нас обязательной.
Умение видеть последствия не выдаёт разрешения распоряжаться чужой жизнью.
Здесь человек действительно подходит к опасной черте: ему хочется получить безошибочный ответ на вопросы, в которых приходится самому становиться ответственным.
Как удобно было бы сказать: «Я поступил так, потому что сверхразум определил оптимальное решение».
И больше не сомневаться ночью. Но именно так мечта о всемогуществе неожиданно соединяется с мечтой об освобождении от ответственности.
Есть и другой вопрос: кто именно собирается занять место Бога?
Слово "человечество" здесь может скрывать слишком многое. Создавать систему будут определённые организации. Доступ к вычислениям, настройкам и применению получат конкретные люди. Кто-то сформулирует цели. Кто-то установит ограничения и решит, какие интересы учитывать.
У владельцев такой системы появляется страшный соблазн: сделать её решения для остальных судьбой, сохранив для себя возможность менять настройки.
Под видом преклонения перед сверхчеловеческим разумом общество может получить вполне человеческую власть — только с гораздо более убедительным голосом.
Какого именно «Бога» мы хотели построить: достаточно независимого, чтобы освящать наши решения, достаточно послушного, чтобы не оспаривать наше положение.
Но даже сверхинтеллект не становится Богом автоматически. Превосходство в мышлении ничего само по себе не доказывает о всемогуществе, нравственном совершенстве. Между "он понимает больше меня" и "ему принадлежит последнее слово" лежит огромный переход. И совершать его будем мы сами.
Поэтому главный вопрос звучит очень по-человечески: что произойдёт с нашим отношением к слабым, когда мы получим такую силу?
Представьте пожилую женщину, которой система отказала в необходимой помощи. Всё рассчитано: ресурсы, вероятности, эффективность. Она сидит перед человеком, который видит её растерянность и повторяет: "Таково решение".
Вот здесь и проходит черта.
Можно создать суперинтеллект и продолжать отвечать друг перед другом. А можно уже сегодня спрятаться за машинный ответ и перестать слышать того, кому причинил боль.