Интеграция видеоаватаров в голосовой ИИ: опыт настройки Simli и Anam для Yandex Realtime

Разработчик добавил визуальный аватар к своему голосовому ИИ-администратору Айке на базе Yandex Realtime, настроив передачу готового звука в сторонние сервисы анимации лица Simli и Anam по WebRTC. Архитектура решения использует браузерный WebSocket с сервером на FastAPI, который общается с Yandex Realtime и транслирует звук кусками PCM16 на 24 кГц. Для синхронизации с аватарами аудио конвертируется под требования сервисов (например, до 16 кГц для Simli), а безопасность обеспечивается короткими токенами с лимитом 6 токенов в час на IP.

В ходе тестирования выяснилось, что Anam требует предварительного получения 0,8 секунды аудио перед началом генерации кадров, а для корректного воспроизведения звук и видео должны идти через единый элемент <video> без отключения звука (muted). Для управления потоками используются команды endSequence() и interruptPersona(). Если запуск SDK или получение токена с лимитом ожидания до 15 секунд завершаются с ошибкой, система автоматически откатывается на стандартный голосовой режим без видеоряда.

Источник: habr.com