MatAnyone-E

Быстрое матирование видео, на уровне прошлой версии

Сначала дешевый проход в низком разрешении, он подсказывает, где маска не уверена и какие участки памяти важны. Полное сопоставление идет только по этим местам, остальное берется из низкого разрешения. Декодер заменили на легкий

• Полноценная альфа для человека в кадре, согласованная между кадрами
• Тонкие края и сложная прозрачность
• Работа в нативном разрешении, без даунскейла
• Пригодно для композитинга, VFX и замены фона

• 73 кадра в секунду в 1080p на одной H200 с torch.compile
• 28,6 кадра в секунду в 4K
• В 7,4 раза быстрее MatAnyone 2 на 4K
• Пиковой памяти ~ 3,1 ГБ

Код ждем

Спасибо @m_franz

#segmentation #matting #video2matte #video2mask #realtime