У голосовых ИИ есть разные архитектуры. В одной речь сначала превращается в текст, затем система готовит ответ и озвучивает его. В другой модель работает с аудио напрямую. Например, такой подход описан в официальном материале OpenAI о Realtime API.
Прямая работа с аудио может уменьшить задержку и сохранить больше особенностей речи. Но по одному красивому демо нельзя понять, как решение справится с телефонными звонками вашей компании.
При оценке цифрового сотрудника я бы смотрел на поведение в обычных неудобных ситуациях.
Клиент перебил фразу - система остановилась и поняла поправку или продолжила говорить поверх него? Человек назвал дату, затем изменил ее - сохранился последний вариант? На линии шумно - ИИ уточнил непонятное или уверенно записал ошибку?
И еще одна проверка: клиент попросил человека. Есть ли понятный переход к сотруднику и что произойдет, если тот занят?
Голос влияет на впечатление, но оценивать нужно весь разговор и его итог.
Для теста полезнее несколько одинаковых ситуаций, чем свободная беседа, в которой каждый раз обсуждается что-то новое. Условия тоже стоит сохранять: язык, телефонию и сценарий.
Паузы и ошибки в таких тестах нужно измерять, а не обещать их отсутствие заранее.
Что вас больше раздражает в телефонном ИИ: долгие паузы, непонимание поправок или невозможность перейти к человеку?