Луч света в «черном ящике»
На днях исследователь стартапа
Goodfire Ник Каммарата взбудоражил всю AI-индустрию своим
постом в блоге, рассказав, что
нейросети, возможно, устроены куда понятнее, чем принято считать. А значит, их проще контролировать. Пост уже назвают
главной AI-работой года, а некоторые вообще обещают ему место в истории науки.
До сентября 2023 года ученый работал в
OpenAI и был там среди пионеров механистической интерпретируемости — подхода, при котором внутрь модели заглядывают и смотрят, за что отвечает каждый нейрон.
В
2020 году его команда изучала модель распознавания картинок
Inception v1 от
Google и нашла нейрон, который реагировал и на машины, и на кошек. Вывод напрашивался: модель экономит место и складывает несвязанные понятия в один нейрон. Явление назвали суперпозицией, а нейросеть с тех пор считалась «черным ящиком», устройство которого науке неизвестно.
Но,
Каммарата считает, что терпение и трут всё перетрут. Последний год он по
10 часов в день без выходных «разглядывал» нейроны с помощью новых инструментов и роя AI-агентов. Его вывод: «мы смотрели не так». Возможно, исследователи просто заранее готовились к тому, что ничего не поймут.
Каммарата вернулся к тому самому нейрону и задался другим вопросом: не
почему в нём перемешано несвязанное, а
что у машины и кошки общего. Ответ нашёлся за пять секунд — V-образная форма. Кошачья морда и нос машины сбоку дают похожий контур. Нейрон срабатывает и на угол бильярдного стола, и на нос японского скоростного поезда. А вот круглые O-образные формы его гасят. Модель не экономила место. Она увидела сходство.
Теперь
Каммарата уверен: будь у него
100 000 лет, он разобрал бы фронтирную модель цепочка за цепочкой. А AI-учёные справятся с этим куда быстрее. То есть поведение моделей станет
объяснимым.Коллеги его восторгов не разделяют.
Крис Поттс из Стэнфорда называет пост интуицией, которую тысячи примеров не превращают в доказательство.
Джейкоб Хилтон из
Alignment Research Center напоминает, что сегодня понятно меньше
0,01% того, что происходит внутри топовых LLM, а главное — не сами нейроны, а то, как они сплетаются в цепочки.
Нил Нанда из
Google DeepMind считает работу интересной, но общую картину не меняющей.
Сам
Каммарата признаёт, что его поняли слишком буквально. Но стоит на своём: нейросеть в каком-то смысле устроена так, чтобы её можно было прочитать.
@anti_agi
▶ video
