Робот, подумай о последствиях

Сказать роботу «возьми чашку» легко. Добиться, чтобы он понимал, что неловкое движение может превратить её в груду осколков, — уже сложнее. Поэтому Сбер представил фигвам GreenWAM: модель одновременно учится управлять роботом и предсказывать, что произойдёт вокруг после его действий.

Такой прогноз она может развернуть в видео длиной до минуты. По данным Сбера, в тесте WorldArena 1.0 GreenWAM заняла второе место среди 128 моделей по сходству предсказания с реальной записью. Перед этим модель обучили на данных 20 семейств роботов, от манипуляторов до человекоподобных машин с кистями.

Эксперименты показали: если при обучении управлению сохранять способность предсказывать изменения мира, робот чаще справляется с заданиями в незнакомых условиях. Большинство ошибок там связано как раз с тем, что модель неверно представляет изменившуюся сцену.

На роботе Грине модель успешно выполнила 95,6% заданий в знакомых условиях против 88,9% у NVIDIA Cosmos 3 Edge, обученной на тех же данных. В новых условиях результат скромнее: 84% против 80%. Для работы в реальном времени сделали ускоренную версию: она работает в 12,3 раза быстрее исходной, теряя в эффективности всего 4%. Быстрее ветра, медленней эффекта.

@anti_robots