F2G-Pose

Поза, размер и форма объекта по одному снимку RGB-D с готовой маской. За один проход выдает 6D-положение, реальный масштаб и достроенное облако точек в системе координат камеры

Внутри замороженный RADIO дает плотные признаки, глубина и маска привязывают их к точкам сцены. Локальную геометрию собирает DGCNN, контекст объекта добавляет трансформер со смесью экспертов, дальше три головы считают позу, размер и форму

• Оценка положения категории без отдельной модели под каждый предмет
• Метрический размер, то есть понятно, насколько объект большой на самом деле
• Достройка формы: невидимая с камеры часть тоже предсказывается
• Работа на прозрачных и блестящих предметах: стекло, зеркальная посуда
• Годится для роботов: захват и установка по предсказанной позе

• 28 кадров в секунду только по позе, 23,7 с полной моделью

github.com/jrryzh/F2G-Pose
huggingface.co/J3rr1/F2G-Pose

#rgbd2pose #tracking #pose