Я работаю над проектом, где одним из ключевых компонентов является распознавание русскоязычной речи в телефонных разговорах.

Многие следят за новостями о развитии ИИ-систем и знают, какой огромный шаг за последние годы был сделан в речевых технологиях, а именно в распознавании и генерации речи.

Но среди множества моделей как узнать, какая лучшая? И что значит лучшая? Я выбрал для сравнения следующие критерии:
- Качество сохранения бизнес-контекста. Не ошибается ли модель в таких важных сущностях, как отрицания, числовые параметры, определение потребностей клиента. Не выдумывает ли несуществующие факты.
- Скорость работы - параметр RTF (Real-Time Factor). Если параметр равен 1, значит минуту аудио модель будет распознавать 1 минуту. Желательно, чтобы RTF был намного меньше единицы.
- Доступность. Доступна ли модель для локального запуска или через облачный API. Нет ли риска блокировок, недоступности из-за ограничений трафика или необходимости оплаты иностранной картой?

Эксперимент я строил на сравнении результатов с эталонами, которые вручную размечал с помощью специально созданной программы. А для независимой оценки сохранения бизнес-контекста использовал Qwen и codex, для которых кандидаты были анонимизированы.
Изначально фаворитами были Yandex SpeechKit, Qwen FileTrans от Alibaba и WhisperX от OpenAI. Сложность была в том, что для каждой платформы необходимо было создавать аккаунт, привязывать карту, создавать токен. И, помучившись какое-то время, я открыл сервисы-агрегаторы вроде Eden AI и Replicate. Эти сервисы позволяют один раз создать аккаунт, привязать карту и получить токен и затем через единообразный API тестировать разные модели. Это очень удобно, экономит много времени и сил! Через эти сервисы я протестировал ещё множество моделей.
И вот совершенно случайно мне на глаза попалась новость (https://t.me/toBeAnMLspecialist/1178),
что существует в открытом доступе модель GigaAM от Сбера, которая отлично справляется с русским языком. Протестировал и её.

Результаты.
Оба независимых оценщика поставили GigaAM от Сбер на 1 место. Также высоко были оценены WhisperX и Qwen. На графиках RTF у GigaAM довольно значительный, но при запуске на видеокарте его можно существенно снизить - примерно в 20 раз, поэтому распознаёт модель очень быстро.
Когда-то модель GigaAM была доступна через облачный API, но позже Сбер убрал такую возможность, выложив модель в открытый доступ.

Выводы.
Для нашего проекта я выбрал GigaAM от Сбера. Эта модель даёт лучший результат распознавания, работает быстро, умеет нормализовать текст (исправлять грамматику, числа и т.п.), она свободно доступна, то есть мы не зависим от внешних поставщиков, а платить нужно только за ресурс видеокарты. Из недостатков: необходимо содержать свою инфраструктуру для запуска. И модель не умеет исправлять термины по словарю.
И ещё один важный вывод - я открыл для себя сервисы - Eden AI и Replicate, где можно удобно протестировать различные модели и выбрать подходящую под свою задачу.