🤖 Flora: превращаем видео робота в обучающую разметку
Исследование NVIDIA · 20 октября 2026
Чтобы обучать робота на записях, недостаточно краткого пересказа видео. Нужны границы отдельных действий, инструкции к ним и оценки результата. Flora объединяет эту цепочку: TempSeg выделяет временные интервалы, Captioner описывает намеренное действие, Rewarder оценивает эпизод, ход выполнения или пользовательскую рубрику.
Пример: запись перекладывания предметов → интервалы «взять чашку», «поставить чашку» и отметки неудачных шагов. Это полезно исследователям для отбора и балансировки обучающих данных. Неудачная попытка при этом не должна превращаться в подпись об успешном действии.
В отчёте авторов на 40 отложенных эпизодах с 4861 размеченным моментом Rewarder обнаружил 53,3% шагов с неудачей. Цена чувствительности — около 11% нормальных шагов тоже названы неудачными. Это измерения на ограниченном наборе, а не гарантия безопасности; результаты на других задачах неоднородны. Оценка плотной последовательности использует последующий контекст, поэтому её нельзя считать готовым мониторингом в реальном времени.
Веса трёх моделей доступны с 15 октября: сегментатор — адаптер к модели 9B, две другие — 27B. Начать можно с коллекции моделей и описанного в статье протокола: нарезать видео на окна, объединить границы, затем описать заданные интервалы. Нужны Linux, CUDA и PyTorch/Transformers; авторы тестировали H100, минимальную видеопамять не указали. Готовый запуск всей цепочки одной командой нами не подтверждён.
Лицензия NVIDIA — только для некоммерческих исследований и оценки; коммерческое применение этих весов не разрешено. Готового облачного тарифа не заявлено, вычисления оплачиваются отдельно. Для облачной обработки видео передаётся выбранному провайдеру. Это исследовательские модели, не контроллер робота; рецензирование отчёта не подтверждено. Мы изучили публикацию, собственных испытаний не проводили.
Источник · Исследование · Модели · Лицензия
Обложка: NVIDIA GEAR
#Science #Робототехника #Данные
Исследование NVIDIA · 20 октября 2026
Чтобы обучать робота на записях, недостаточно краткого пересказа видео. Нужны границы отдельных действий, инструкции к ним и оценки результата. Flora объединяет эту цепочку: TempSeg выделяет временные интервалы, Captioner описывает намеренное действие, Rewarder оценивает эпизод, ход выполнения или пользовательскую рубрику.
Пример: запись перекладывания предметов → интервалы «взять чашку», «поставить чашку» и отметки неудачных шагов. Это полезно исследователям для отбора и балансировки обучающих данных. Неудачная попытка при этом не должна превращаться в подпись об успешном действии.
В отчёте авторов на 40 отложенных эпизодах с 4861 размеченным моментом Rewarder обнаружил 53,3% шагов с неудачей. Цена чувствительности — около 11% нормальных шагов тоже названы неудачными. Это измерения на ограниченном наборе, а не гарантия безопасности; результаты на других задачах неоднородны. Оценка плотной последовательности использует последующий контекст, поэтому её нельзя считать готовым мониторингом в реальном времени.
Веса трёх моделей доступны с 15 октября: сегментатор — адаптер к модели 9B, две другие — 27B. Начать можно с коллекции моделей и описанного в статье протокола: нарезать видео на окна, объединить границы, затем описать заданные интервалы. Нужны Linux, CUDA и PyTorch/Transformers; авторы тестировали H100, минимальную видеопамять не указали. Готовый запуск всей цепочки одной командой нами не подтверждён.
Лицензия NVIDIA — только для некоммерческих исследований и оценки; коммерческое применение этих весов не разрешено. Готового облачного тарифа не заявлено, вычисления оплачиваются отдельно. Для облачной обработки видео передаётся выбранному провайдеру. Это исследовательские модели, не контроллер робота; рецензирование отчёта не подтверждено. Мы изучили публикацию, собственных испытаний не проводили.
Источник · Исследование · Модели · Лицензия
Обложка: NVIDIA GEAR
#Science #Робототехника #Данные
Views: 1
