Looking Ahead

Метод обучения авторегрессивных видеомоделей от Tencent

Заставляет их смотреть дальше текущего куска. Обычно модель дорисовывает кадр, опираясь на готовую историю, и выкручивается за счет похожести соседних кадров. Здесь добавлена задача предсказать куски через один, два и три шага вперед, не видя промежуточных

Смысл в физике: когда рядом нет готового продолжения, приходится выучить, как сцена меняется, а не как она выглядит

Прикручено к Wan2.2-TI2V-5B

huggingface.co/TencentARC/Looking-Ahead
github.com/TencentARC/Looking-Ahead

#training