Проблема «Капитана Очевидность»: почему ИИ всегда выбирает самое вероятное. Ч. 2
Нейроны в группе хоть и умны+всемогучи, но поскольку современные трансформеры используют softmax-внимание, которое, как математически доказано в глубине сети ведет к консенсусному схождению всех токенов — возникает тот самый неприятный "нейрослоп-moment", когда модель по умолчанию начинает выдавать усреднённые, статистически вероятные ответы которые ты способен обуздать, если начнёшь грамотно управлять контекстом (помимо известной фичи с изменением температуры softmax).
В 2026 году ByteDance дополнил понимание капитана очевидности, обнаружив в LLM «вселенское знание графа» (каво?):
«Граф размышлений GPT самоорганизуется подобно сворачиванию белка. "Ковалентные связи" — основные шаги рассуждений, "водородные" — рефлексия и аналогии, и даже "ван-дер-ваальсовые" — самоисследование. Универсальный граф мышления совпадает на ~90% между разными LLM. Существуют стабильные ветки рассуждений, куда LLM заглядывает чаще, скатываясь в локальный минимум капитана очевидность».
— "The Molecular Structure of Thought", ByteDance, arXiv:2601.06002 (2026)
Просмотры: 37