🤖 #Технологии

3D-сцена по данным робота-доставщика: как собирали парк из записей SpeedyBot

🤖 Инженеры Unibot подключили робота-доставщика SpeedyBot (Alfa Robotics) к своей платформе UNIBOT Fleet и на основе его записей построили 3D-сцену реального парка. Восьмая часть серии — про визуальную реконструкцию.

Исходные данные: детекции объектов (SAM-маски, категории bench/table/barbecue grill/bush/tree), RGB-D-кадры с глубиной и позы робота. Сбор — 19 октября. Из 40 объектов собрали 27 растений, шесть предметов мебели, архитектурные части и грунт. Финальный GLB — 1,2 МБ, 24 тыс. треугольников.

Первые версии выдали курьёзы: крона дерева «наехала» на дорожку, а мангал раздвоился из-за ошибочного выделения второго предмета. Исправляли принадлежность маски к объекту и алгоритм подгонки геометрии по силуэту на калиброванной глубине. Для мангала объединили два фрагмента в один — двойник исчез.

Сложности: на краю маски глубина могла принадлежать фону, а лидарные точки внутри кроны — не совпадать с внешней оболочкой. Отказались от простого удаления разорванных облаков (оно убивало кусты). Ввели signed distance transform для сравнения проекции модели с маской, а для метрической части — soft_l1 с ограничением влияния выбросов.

Итог — узнаваемая сцена в локальном Fleet, без плоских крон и двойников. Открытый вопрос: точные размеры и ориентация мебели. Полный цикл реконструкции в установленной Fleet пока не подтверждён, но опыт показал, как данные с робота-доставщика превращаются в карту окружения — шаг к автономной навигации.

#УчиДрон