Русский язык обходится пользователям ИИ в 2,5 раза дороже английского

Пользователи искусственного интеллекта (ИИ) платят скрытый «языковой налог»: один и тот же текст на разных языках требует разного количества токенов. Чем их больше, тем дороже обработка запроса и тем медленнее может работать модель.

Недавно созданная международная Коалиция за языковое равенство в исследованиях ИИ (CLEAR) опубликовала исследование, согласно которому среди 20 самых распространённых языков интернета разница в расходе токенов достигает пяти раз. При расширении выборки до 200 языков разрыв для отдельных моделей вырастает до 17 раз.

За русский тоже предусмотрен налог: в токенизаторе модели GPT-4 от OpenAI русский текст потребовал в 2,24 раза больше токенов, чем английский, в более новой версии GPT-4o — в 1,24 раза больше.

Самые дорогие языки — те, с чьей письменностью текенизаторы знакомы. В числе наиболее уязвимых — бирманский, тибетский, кхмерский и лаосский. Токенизаторы дробят их слова на множество мелких фрагментов вместо того, чтобы распознавать их более крупными единицами.

Антирейтинг по времени обработки запросов тоже непосредственно связан с языком: чем больше токенов приходится обрабатывать, тем выше задержка. Однако CLEAR не приводит отдельной таблицы с рейтингом языков по времени ответа — измеренный разрыв в токенах нельзя автоматически переводить в такой же разрыв в секундах.

«Причина не в том, что на этих языках сложнее выразить мысль. Токенизаторы обучались на массивах текстов, где английский и другие распространенные языки представлены лучше. Пользователи менее представленных языков расплачиваются за этот перекос расходом токенов, сокращением доступного контекста и потенциально более долгой обработкой запросов», — говорится в отчете. 

🟦 Подписаться