Квантование упирается не в модель, а в ядра: один формат летает, другой разваливается.

Humming от Ant Group и сообщества vLLM обещает одно ядро на все форматы — от INT1 до FP8, dense и MoE. В их замере на 8×H20 с DeepSeek-V4.1-Flash выход вырос с 442 до 634 ток/с: +43% при батче 64.

Apache-2.0, устройства — от Turing до T-Head Zhenwu 810E.