▶ video
🤖 Как ИИ-агенты создают и обучают роботов: демонстрация NVIDIA
На NVIDIA GTC Berlin Дженсен Хуанг показал как ИИ-агенты самостоятельно проектируют виртуальную среду, обучают в ней робота и переносят полученные навыки в физический мир.
Ключевой тезис презентации: «Чтобы создать агента, попросите другого агента сделать это за вас».
Что интересно, - Гермеса :)
В качестве примера показали маленького двуногого робота Microduck от Pollen Robotics и Hugging Face.
⚙️ Как устроен процесс:
1️⃣ Hermes Agent + Nemotron — управляют процессом, планируют задачи и определяют необходимые объекты и инструменты.
2️⃣ GPT-6 Astra + FreeCAD + Blender — создают трёхмерные модели, материалы, суставы и механизмы робота.
3️⃣ Isaac Sim + Newton Physics — моделируют физику, движения робота и взаимодействие с окружающей средой.
4️⃣ Isaac Lab + облачные GPU — параллельно обучают тысячи виртуальных копий робота. Каждое падение становится новым опытом, улучшая алгоритм управления.
5️⃣ Omniverse — моделирует работу камер, обучая робота видеть препятствия, ориентироваться и адаптироваться к окружению.
6️⃣ RTX Spark — локально запускает агентов, проверяет обученную модель в цифровом двойнике и передаёт её физическому роботу.
💡 В основе архитектуры три вычислительные среды:
• Локальный компьютер — проектирование, работа агентов, моделирование и проверка.
• Облачные суперкомпьютеры — массовое параллельное обучение тысяч виртуальных роботов.
• Физический робот — выполнение приобретённых навыков в реальном мире.
В финале демонстрации настоящие маленькие роботы выходят на сцену, ходят, садятся, встают и даже делают сальто.
Проще говоря: ИИ-агенты создают цифровой мир, проектируют сценарии обучения, тренируют в нём роботов, проверяют результаты и переносят полученные навыки на реальные устройства.
Самое интересное здесь даже не сами роботы, хотя факт, что мы живём в таймлайне Star Wars, поражает, конечно, а автоматизация полного цикла разработки физического ИИ — от текстового задания до работающего устройства.
Человек всё больше управляет целями, а агенты берут на себя инженерную реализацию.
#ИИ #Агенты #Робототехника #NVIDIA
———
@tsingular
На NVIDIA GTC Berlin Дженсен Хуанг показал как ИИ-агенты самостоятельно проектируют виртуальную среду, обучают в ней робота и переносят полученные навыки в физический мир.
Ключевой тезис презентации: «Чтобы создать агента, попросите другого агента сделать это за вас».
Что интересно, - Гермеса :)
В качестве примера показали маленького двуногого робота Microduck от Pollen Robotics и Hugging Face.
⚙️ Как устроен процесс:
1️⃣ Hermes Agent + Nemotron — управляют процессом, планируют задачи и определяют необходимые объекты и инструменты.
2️⃣ GPT-6 Astra + FreeCAD + Blender — создают трёхмерные модели, материалы, суставы и механизмы робота.
3️⃣ Isaac Sim + Newton Physics — моделируют физику, движения робота и взаимодействие с окружающей средой.
4️⃣ Isaac Lab + облачные GPU — параллельно обучают тысячи виртуальных копий робота. Каждое падение становится новым опытом, улучшая алгоритм управления.
5️⃣ Omniverse — моделирует работу камер, обучая робота видеть препятствия, ориентироваться и адаптироваться к окружению.
6️⃣ RTX Spark — локально запускает агентов, проверяет обученную модель в цифровом двойнике и передаёт её физическому роботу.
💡 В основе архитектуры три вычислительные среды:
• Локальный компьютер — проектирование, работа агентов, моделирование и проверка.
• Облачные суперкомпьютеры — массовое параллельное обучение тысяч виртуальных роботов.
• Физический робот — выполнение приобретённых навыков в реальном мире.
В финале демонстрации настоящие маленькие роботы выходят на сцену, ходят, садятся, встают и даже делают сальто.
Проще говоря: ИИ-агенты создают цифровой мир, проектируют сценарии обучения, тренируют в нём роботов, проверяют результаты и переносят полученные навыки на реальные устройства.
Самое интересное здесь даже не сами роботы, хотя факт, что мы живём в таймлайне Star Wars, поражает, конечно, а автоматизация полного цикла разработки физического ИИ — от текстового задания до работающего устройства.
Человек всё больше управляет целями, а агенты берут на себя инженерную реализацию.
#ИИ #Агенты #Робототехника #NVIDIA
———
@tsingular