Робот, подумай о последствиях
Сказать роботу «возьми чашку» легко. Добиться, чтобы он понимал, что неловкое движение может превратить её в груду осколков, — уже сложнее. Поэтому Сбер представилфигвам GreenWAM: модель одновременно учится управлять роботом и предсказывать, что произойдёт вокруг после его действий.
Такой прогноз она может развернуть в видео длиной до минуты. По данным Сбера, в тесте WorldArena 1.0 GreenWAM заняла второе место среди 128 моделей по сходству предсказания с реальной записью. Перед этим модель обучили на данных 20 семейств роботов, от манипуляторов до человекоподобных машин с кистями.
Эксперименты показали: если при обучении управлению сохранять способность предсказывать изменения мира, робот чаще справляется с заданиями в незнакомых условиях. Большинство ошибок там связано как раз с тем, что модель неверно представляет изменившуюся сцену.
На роботе Грине модель успешно выполнила 95,6% заданий в знакомых условиях против 88,9% у NVIDIA Cosmos 3 Edge, обученной на тех же данных. В новых условиях результат скромнее: 84% против 80%. Для работы в реальном времени сделали ускоренную версию: она работает в 12,3 раза быстрее исходной, теряя в эффективности всего 4%. Быстрее ветра, медленней эффекта.
@anti_robots
Сказать роботу «возьми чашку» легко. Добиться, чтобы он понимал, что неловкое движение может превратить её в груду осколков, — уже сложнее. Поэтому Сбер представил
Такой прогноз она может развернуть в видео длиной до минуты. По данным Сбера, в тесте WorldArena 1.0 GreenWAM заняла второе место среди 128 моделей по сходству предсказания с реальной записью. Перед этим модель обучили на данных 20 семейств роботов, от манипуляторов до человекоподобных машин с кистями.
Эксперименты показали: если при обучении управлению сохранять способность предсказывать изменения мира, робот чаще справляется с заданиями в незнакомых условиях. Большинство ошибок там связано как раз с тем, что модель неверно представляет изменившуюся сцену.
На роботе Грине модель успешно выполнила 95,6% заданий в знакомых условиях против 88,9% у NVIDIA Cosmos 3 Edge, обученной на тех же данных. В новых условиях результат скромнее: 84% против 80%. Для работы в реальном времени сделали ускоренную версию: она работает в 12,3 раза быстрее исходной, теряя в эффективности всего 4%. Быстрее ветра, медленней эффекта.
@anti_robots
Views: 14