Speculative Sampling

Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется.

Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет

• Генерация крупного куска вперед в расчете, что условие не поменяется
• Предсказания копятся в кэше и выдаются по мере проигрывания
• Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается
• Два состояния: раздача из кэша и досчет нового

• MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика
• Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing
• Ожидание больше не упирается в половину длительности куска
• Увеличение куска почти не бьет по времени шага, ядра недогружены

github.com/Yubo-Shankui/SpeculativeSampling

#optimization