Можно было бы изобрести трансформеры, если плясать от памяти

Современные LLM тащат в башке узкоспециальную дичь из самых разных углов. Кейс: автор опаздывал на вечер настолок к друзьям и попросил Astra напомнить правила Dune: Imperium. Та без напряга продиктовала их, пока он рулил, и этого хватило, чтобы вспомнить правила и снова сыграть. Мы настолько привыкли допрашивать модели обо всём, что их жирный багаж знаний воспринимаем как само собой разумеющееся.

В посте автор человеческим языком разжёвывает линейные отображения, MLP и самовнимание как типы хранения памяти. А уже отсюда можно вывести эвристики: сколько памяти способен удержать каждый слой.

Читать далее

👉 Telegram | Max | 🌥 Claude и другие ИИ