MTP-голову доучивают вместе с моделью, но в градиент попадает лишнее. Около 80% нормы — шумный остаток. Он не балласт: тянет против обновления обычного NTP-градиента и держит полезный сигнал в тени.

Soft-MTP (arXiv 2610.38331) отрезает этому остатку путь через detach. Ноль новых параметров, память и скорость те же, 49 748 против 49 783 ток/с.

Отдача относительная, и это против обычного MTP, а не модели без него: +1,8–2,2% к длине принятия в спекулятивном декодинге, +1,4–1,5% к скорости. Собственные прогоны одного автора на моделях 167M–1,2B.