Google показал Genie 4 для создания интерактивных миров со звуком

Модель генерирует окружение, по которому можно перемещаться и на ходу менять обстановку. Достаточно написать, какую погоду включить, куда направить камеру или какого персонажа добавить. Звуки, музыка и диалоги создаются вместе с картинкой. Персонажи разговаривают и реагируют на действия пользователя.

Вместе с анонсом Google показал эксперимент, где Gemini Argon и Genie 4 вместе симулируют робота, играющего в шашки. В перспективе такие миры хотят использовать для обучения и проверки роботов и AI-агентов.

«Путешествовать» по миру можно несколько минут, со временем детали меняются и теряются. Ошибки при сложных взаимодействиях с объектами пока тоже не побороли.

Genie 4 доступна избранным тестировщикам. Позже доступ получат подписчики Google AI Ultra. Лист ожидания открыт.

https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/