Ant Group открыла Realtime-Venus — ИИ, который слушает, пока говорит

Команда Venus из Ant Group вместе с Университетом Цинхуа выложила на Hugging Face полнодуплексную систему Realtime-Venus под лицензией Apache 2.0. В релизе два чекпойнта по 9B: Omni (видео + звук) и Audio (только звук).

Модель продолжает слушать во время ответа и отличает поддакивание от перебивания, поправки или смены темы. Omni может заговорить сама, если в кадре или в звуке происходит что-то важное. Внешние задачи вроде поиска авиабилетов она передаёт в фон, не прерывая разговор. Для этого нужен рантайм Harness из репозитория на GitHub. Для длинных видео есть память, которая не требует дообучения.

В основе — MiniCPM-o 4.5 и Qwen3-8B, контекст 40 960 токенов. По техотчёту: StreamingBench 70,2% (Omni), MMAU 78,0% (Audio), а на поддакивания собеседника Audio не прерывается в 97% случаев...

Источники:
https://huggingface.co/inclusionAI/Realtime-Venus

#AI #OpenSource #AntGroup #Голос #Мультимодальность #Агенты