Как один математический трюк запустил эпоху ChatGPT и Claude — и почему он всё ещё не объясняет интеллект

Математический приём под названием «механизм внимания» научил нейросети не терять смысл длинных фраз — и спустя годы лёг в основу ChatGPT, Claude и других ИИ. Его предложили в 2014 году для машинного перевода, а в 2017-м Google построил на нём архитектуру трансформера. Модель на каждом шаге решает, какие слова важнее. Но исследователи всё меньше уверены, что внимание объясняет интеллект: человеческий мозг решает те же задачи куда экономнее.

Подробности на сайте

Механизм внимания оказался гениально простым: научи машину угадывать следующее слово — и она заодно освоит перевод, код и факты. Прям как человеческий мозг. Только маленькая такая загвоздочка: человеческому мозгу для того же не нужно проглотить половину интернета и спалить электричество небольшого города. А так всё нормально.

АВС Автоматизация в Телеграмме | в VK