Holi-World

Пайплайн от Ropedia превращает съемку от первого лица в 3D и 4D данные мира без ручной разметки. Записи со стереокамеры и IMU проходят реконструкцию и авторазметку, на выходе датасет и обученная на нем модель.

• Статичные объекты как 3D-боксы в единой системе координат
• Динамика как 4D-треки, предмет держит свой ID даже вне кадра
• Около 80 тысяч пар вопрос-ответ с привязкой к кадрам и объектам
• 30 типов вопросов, включая ловушки с неверными вариантами
• Человеческая проверка как второй контур контроля

• Модель на 4 млрд параметров

Авторы отдельно подчеркивают, что конкуренты на тестах получают подсказки, а их пайплайн нет.

huggingface.co/ropedia-ai/holiworld-vl

#videoto3d #videoto4d