Сеня-девелопер на выход → CNER Developer на вход: как мы дообучали GigaAM-v3

Диктовка Glas крутится на GigaAM-v3. Обычную русскую речь модель пережёвывала нормально, а вот на IT-терминах буксовала: Docker у неё становился «докером», Python — «Пайтоном». А порой она тупо теряла слова: живую фразу «Мой ИИ редко ошибается» записала как «Мои редко ошибается». Вылечили дообучением на 25 часах живой речи.

На 525 отложенных коротких записях WER упал с 8,81% до 5,76% — это примерно минус 35% от исходного значения. Доля терминов, написанных правильно, подскочила с 43,8% до 86,7%. Скорость практически не сдвинулась. Версия 0.01, всё ещё бета.

Есть и минусы: слова модель стала пропускать чаще, а на обычной речи хуже держит регистр и пунктуацию. Плюс тест размечен тем же автоконвейером, что и обучение, с выборочной ручной проверкой — так что часть прироста может быть просто совпадением стиля разметки. Читать далее

👉 Telegram | Max