Flint от Recursive — MoE для кодинг-агентов. 49 слоёв, и только 14 видят весь контекст. Остальные 35 смотрят на последние 513 токенов, от 262 144 это 0,2%.

Отсюда и дешёвый длинный контекст: KV-кэш на всё окно держат лишь 14 слоёв, 28 КиБ на токен. Сто тысяч токенов — около 2,9 ГБ вместо 10 ГБ при полном внимании во всех слоях.

39,8B параметров при 2,5B активных, 256 экспертов top-6 плюс общий, Apache 2.0, образ vLLM day-0. Веса 79,6 ГБ BF16 или 22,9 ГБ NVFP4. Скорость около 485 ток/с на одной GB200 при 100K, но это batch-1 и замер самих разработчиков, независимых прогонов нет.

https://huggingface.co/RecursiveSI/flint