OmniPoser

мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.

Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все

• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов

• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3

github.com/JamesBridgewater51/omniposer

#mocap