Биты при квантовании выгоднее тратить не поровну, а туда, где вред.…

Биты при квантовании выгоднее тратить не поровну, а туда, где вред. Автор разбора на Хабре вернул в bf16 выходную проекцию нулевого блока RWKV-7 — 0,5% файла — и KL упал на 39%; ещё 1,1% на 6-битный эмбеддинг сняли ещё 22% KL: вместе больше половины KL, перплексия +4,04% → +1,86%.

4 бита на 2,9B дают +4,04% против +2,85% на 1,5B — «больше модель, меньше потери» тут не работает. Виновница — та же o_proj нулевого слоя.

Оговорки: RWKV-7 не трансформер, на Qwen и Llama это не переносится; мерили KL и перплексию, не задачи; код открыт (Apache-2.0).