Каузальная заморозка: почему ИИ не может «передумать». Ч. 2

В 2025 году команда Qwen опубликовала эксперимент, объясняющий как в этом тандеме (Masked Attention, KV Cache) учавствует ещё и "Main" Attention, помогая GPT быть упёртым ослом:

«47% внимания из разных слоёв трансформера сосредоточено на первых токенах контекста (эффект Attention Sink). Это означает, что начальное понимание контекста гипертрофированно закрепляется, особенно если оно сколлапсированно**, и последующие корректировки становятся крайне затруднеными».
— Qwen "Attention Sink and Gating", arXiv:2505.06708 (2025)

Эти три мушкетёра, когда ты начинаешь разговор с LLM, заставляют первые фразы намертво впечатываться в её понимание ситуации. Усугубляют ситуации сколлапсированные убеждения из предпосылок в твоём тексте. Далее LLM очень трудно пересмотреть свои закреплённые в KV Cache убеждения, что затрудняет любой брейншторминг, и лучшим решением тут будет просто стереть сессию.