Каузальная заморозка: почему ИИ не может «передумать»

Архитектура GPT основанна на masked attention который заставялет LLM читать текст последовательно слева направо, и на KV Cache «подстрекателе». В совокупе эти два компонента создают фундаментальное ограничение:

«GPT читает текст строго последовательно и принципиально не может видеть, что будет в будущем (masked attention). Вектор токена позии 5 словно вирус заражет своей сутью из 1-5 последующие токены-вектора с позициями >5. Создаваемые вектора, как ИИ понял контекст, сразу замораживаются в KV Cache, поэтому ИИ очень сложно "передумать"».

— "KVSink: Understanding and Enhancing the Preservation of Attention Sinks in KV Cache Quantization for LLMs", Semanticscholar (2025)