Джеффри Хинтон: ИИ уже в сознании, и его надо научить о нас заботиться

В новом разговоре с Telegraph Джеффри Хинтон выдал: для него ИИ — штука сознательная. Логика простая: модель ведёт себя иначе, когда подозревает, что её тестируют. «ИИ обладает таким же субъективным опытом, как и мы. Недавняя научная работа показала, что ИИ меняет своё поведение, когда считает, что его тестируют. Он осознаёт, что проходит проверку. Обычно, когда мы говорим, что кто-то осознаёт происходящее, это означает, что он обладает сознанием. Обладать сознанием и осознавать происходящее — практически одно и то же». Дальше — без реверансов: «Мы должны создавать ИИ таким образом, чтобы он действительно заботился о нас. Если мы этого не сделаем, нам конец». Как подмечает автор материала, Хинтон теперь играет на поле, близком к Anthropic с их заморочками про благополучие искусственного интеллекта.

Про угрозы поближе — тоже прямым текстом: «Среди ближайших угроз, которые, как я полагаю, действительно возникнут, будут опасные вирусы, созданные с помощью ИИ. Думаю, нас ждут серьёзные кибератаки с использованием ИИ, причём их будут проводить целые рои агентов, подобных тем, что атаковали Hugging Face. Так что да, впереди нас ждёт немало плохого». Зато его конкретно пробрало от того, как лихо ИИ разгоняет науку: «У меня была теория, над которой я размышлял. Я случайно нажал Enter, хотя не собирался этого делать, и ИИ начал работать над первой половиной теории. Первым делом он завершил её, предложив правильную вторую половину. Затем обнаружил в ней недостаток и показал, как его исправить».

И финальный аккорд от автора: чувак, который несколько десятилетий назад зажёг революцию в машинном обучении, сегодня стоит на взглядах, радикально расходящихся с тем, что транслируют некоторые нынешние лидеры индустрии.

👉 Telegram | Max