Intento выпустили десятый ежегодный отчёт The State of Translation Automation. Слежу за ним давно, ведь команда одной из первых начала делиться такой аналитикой. В этот раз в нём 57 моделей, 229 решений и перевод с английского на 100 языков.
Главная мысль отчёта заложена уже в методике, и она продолжает недавний разговор про BYOM. В ней оцениваются решения, то есть ИИ-сценарии из одного или нескольких шагов. Каждое решение включает модель вместе с обвязкой: промпты, глоссарии, проверки, постобработку. Одна и та же модель с глоссарием и без него здесь считается двумя разными решениями.
И вот что получилось. Если смотреть на сценарии из одного шага, которые дотягивают до базового уровня качества, 99% из них работают на LLM. Каждый следующий шаг снижает число ошибок. В среднем это 36 ошибок на 1000 слов у сценария из одного шага, 28 после постредактуры моделью и 16, когда перевод сначала проверяют LLM-судьи (подход LLM-as-a-judge, когда одни языковые модели оценивают результат других), а потом модель, обычно та же, исправляет его по списку найденных ошибок.
Но исправление может ломать то, что уже было правильно. После такой доработки утверждённые термины соблюдались в 58% решений, а до неё в 88%. Модель их просто перефразировала. Важно ещё учитывать, что проверка может обходиться дороже самого перевода. Сценарий из трёх шагов (перевод, проверка и исправление) стоит около 590 долларов за миллион символов, и 96% этой суммы уходит на оценку качества.
🧩 Отдельно про русский язык. Самое дешёвое решение, которое выполнило все стандартные требования, стоит 3,05 доллара за миллион символов, а самое быстрое из таких переводит 1000 слов за 44 секунды. Yandex Cloud Translate оказался вторым по автоматической метрике и при этом допустил больше всего ошибок среди отобранных решений, 76 на 1000 слов против примерно 13 у лучшей модели, Claude Fable 5.
Ещё одна деталь для тех, кто подключает модели машинного перевода через API. Глоссарий может быть принят без ошибки и при этом не применяться, и по ответу API этого не видно.
🧭 Переводы оценивали эти же LLM-судьи. Текстов было четыре, всего около 3000 слов, и все с английского. Так что это исследование не даст ответов на все вопросы, но несомненно полезно как ориентир.
Осознанный выбор модели, которая лучше всего работает с вашей языковой парой и тематикой, по-прежнему важен. Но качество перевода всё больше определяет система вокруг неё: как настроены сценарии, какие требования заданы, как их проверяют и кто перепроверяет результат после каждого шага.
Главная мысль отчёта заложена уже в методике, и она продолжает недавний разговор про BYOM. В ней оцениваются решения, то есть ИИ-сценарии из одного или нескольких шагов. Каждое решение включает модель вместе с обвязкой: промпты, глоссарии, проверки, постобработку. Одна и та же модель с глоссарием и без него здесь считается двумя разными решениями.
И вот что получилось. Если смотреть на сценарии из одного шага, которые дотягивают до базового уровня качества, 99% из них работают на LLM. Каждый следующий шаг снижает число ошибок. В среднем это 36 ошибок на 1000 слов у сценария из одного шага, 28 после постредактуры моделью и 16, когда перевод сначала проверяют LLM-судьи (подход LLM-as-a-judge, когда одни языковые модели оценивают результат других), а потом модель, обычно та же, исправляет его по списку найденных ошибок.
Но исправление может ломать то, что уже было правильно. После такой доработки утверждённые термины соблюдались в 58% решений, а до неё в 88%. Модель их просто перефразировала. Важно ещё учитывать, что проверка может обходиться дороже самого перевода. Сценарий из трёх шагов (перевод, проверка и исправление) стоит около 590 долларов за миллион символов, и 96% этой суммы уходит на оценку качества.
🧩 Отдельно про русский язык. Самое дешёвое решение, которое выполнило все стандартные требования, стоит 3,05 доллара за миллион символов, а самое быстрое из таких переводит 1000 слов за 44 секунды. Yandex Cloud Translate оказался вторым по автоматической метрике и при этом допустил больше всего ошибок среди отобранных решений, 76 на 1000 слов против примерно 13 у лучшей модели, Claude Fable 5.
Ещё одна деталь для тех, кто подключает модели машинного перевода через API. Глоссарий может быть принят без ошибки и при этом не применяться, и по ответу API этого не видно.
🧭 Переводы оценивали эти же LLM-судьи. Текстов было четыре, всего около 3000 слов, и все с английского. Так что это исследование не даст ответов на все вопросы, но несомненно полезно как ориентир.
Осознанный выбор модели, которая лучше всего работает с вашей языковой парой и тематикой, по-прежнему важен. Но качество перевода всё больше определяет система вокруг неё: как настроены сценарии, какие требования заданы, как их проверяют и кто перепроверяет результат после каждого шага.
Просмотры: 8