Tencent выпустила в открытый доступ модель мира Hy-Nomas с поддержкой LoRA

Компания Tencent представила world model под названием Hy-Nomas с возможностью текстового и камерного управления. Видео генерируется фрагментами с сохранением контекста в KV-кэше, а траекторию камеры можно задавать заранее или корректировать между фрагментами.

Исходный код и веса модели опубликованы под лицензией Apache 2.0, что позволяет дообучать её на собственных видео с помощью LoRA. Разработчики уже подготовили готовые адаптеры для робототехники и создания кинематографичной картинки.

Для работы на одной видеокарте RTX 4090 предусмотрен специальный конфиг с INT8-квантизацией, ограниченной историей и выгрузкой компонентов в оперативную память. На кластере из восьми ускорителей B200 скорость генерации с полной историей достигает 18.5 кадров в секунду.

Источник: Telegram: эйай ньюз