Нейрон срабатывает и на морду кошки, и на решётку — и это не всегда путаница понятий
Внутри нейросети есть ячейки-нейроны: каждая смотрит на картинку и подаёт сигнал, когда находит что-то знакомое. Строишь карту — где и насколько сильно откликнулся конкретный нейрон — и видишь: он ярко вспыхивает и на фото кошачьей морды, и на снимке автомобильной решётки. Первый вывод напрашивается сам: сеть перепутала два понятия и держит их в одной ячейке. Спешить с ним не стоит.
Суперпозиция признаков — это когда признаков, на которые реагирует сеть, больше, чем у неё есть мест их разложить. Картинка для сети — набор чисел, и при нехватке мест разные признаки делят одни и те же ячейки. Тогда один нейрон откликается на несколько несвязанных вещей: например, на лица, на код и на название города.
По данным источника, у ранних небольших моделей скрытым слоям не хватало места под каждый признак, и перекрытие возникало по-настоящему.
Учебный пример: нейрон даёт высокую активацию на морде кошки и на решётке радиатора. Логика выглядела железной — общего между мордой и решёткой нет, значит нейрон кодирует сразу два понятия, значит представления перепутаны.
Автор пересматривает этот классический пример: новые инструменты визуализации показали, что общий признак всё же есть — V-образные формы, которые случайно встречаются и в усах-бровях морды, и в рисунке решётки. Тогда это не смесь понятий, а детектор одной геометрической структуры.
Граница простая: такой вывод держится на качестве инструментов визуализации и на большом числе примеров, а не на паре ярких картинок. Из одного разобранного случая не выводится общее правило — скорее напоминание сначала проверить, нет ли у откликов одного общего признака, и только потом объявлять нейрон запутанным.
Разбор
Внутри нейросети есть ячейки-нейроны: каждая смотрит на картинку и подаёт сигнал, когда находит что-то знакомое. Строишь карту — где и насколько сильно откликнулся конкретный нейрон — и видишь: он ярко вспыхивает и на фото кошачьей морды, и на снимке автомобильной решётки. Первый вывод напрашивается сам: сеть перепутала два понятия и держит их в одной ячейке. Спешить с ним не стоит.
Суперпозиция признаков — это когда признаков, на которые реагирует сеть, больше, чем у неё есть мест их разложить. Картинка для сети — набор чисел, и при нехватке мест разные признаки делят одни и те же ячейки. Тогда один нейрон откликается на несколько несвязанных вещей: например, на лица, на код и на название города.
По данным источника, у ранних небольших моделей скрытым слоям не хватало места под каждый признак, и перекрытие возникало по-настоящему.
Учебный пример: нейрон даёт высокую активацию на морде кошки и на решётке радиатора. Логика выглядела железной — общего между мордой и решёткой нет, значит нейрон кодирует сразу два понятия, значит представления перепутаны.
Автор пересматривает этот классический пример: новые инструменты визуализации показали, что общий признак всё же есть — V-образные формы, которые случайно встречаются и в усах-бровях морды, и в рисунке решётки. Тогда это не смесь понятий, а детектор одной геометрической структуры.
Граница простая: такой вывод держится на качестве инструментов визуализации и на большом числе примеров, а не на паре ярких картинок. Из одного разобранного случая не выводится общее правило — скорее напоминание сначала проверить, нет ли у откликов одного общего признака, и только потом объявлять нейрон запутанным.
Разбор
Просмотры: 46