Стоимость одного и того же запроса к ИИ может различаться в 17 раз из-за языка

Исследование некоммерческой организации CLEAR показало, что «цифровое неравенство» в эпоху ИИ приобретает новое измерение. При работе с одной и той же языковой моделью расходы пользователей из разных стран могут различаться кратно — из-за особенностей токенизации.

Большие языковые модели обрабатывают текст не целыми словами, а токенами — фрагментами слов и символами. Провайдеры взимают плату за количество токенов, поэтому чем больше их требуется для одного и того же сообщения, тем дороже обходится запрос. Например, при токенизации с помощью GPT-5 одно предложение на английском разбивается на 13 токенов, на малаяламском — на 26, а на амхарском — на 78. Таким образом, обработка амхарского предложения требует в шесть раз больше токенов, чем английского.

Исследователи сравнили токенизаторы нескольких крупных семейств моделей на основе набора FLORES-200, содержащего предложения примерно на 200 языках. Наиболее равномерно сработал токенизатор NLLB-200 от Meta — разница составила 2,7 раза. У моделей Google Gemini и Gemma показатель достиг 5,1 раза, у Claude — 9,3, а у GPT-5 — 13,8. Наибольший разрыв, 17 раз, обнаружили у семейства Falcon.

Среди европейских языков русский также сталкивается с «налогом на токенизацию». В среднем одно русское слово кодируется примерно в 2–3 токена, тогда как английское — примерно в 1,3 токена. Разница зависит от модели: у GPT-5 и Gemini русский текст требует примерно на 19–20% больше токенов, чем его английский перевод; у DeepSeek — на 38%, у Qwen — на 52%, у Kimi — на 86%. Особенно выделяется Claude Opus 5: для русского текста ему нужно почти в три раза больше токенов, чем для английского перевода. При сравнении русского текста с GPT-5.5 разрыв достигает 3,9 раза. При этом у российских моделей YandexGPT 5 Lite и GigaChat 3 русские тексты, напротив, занимают на 9% и 4% меньше токенов, чем английские переводы.

Различия особенно заметны за пределами примерно 20 языков с наиболее высоким присутствием в интернете. Причём дело не только в объёме текста: даже языки с относительно небольшим количеством символов могут разбиваться на гораздо большее число токенов. Проблема связана с тем, как устроены токенизаторы — их обучают на текстах, где одни языки представлены значительно лучше других.

«Налог на токенизацию» бьёт не только по малым языкам. Среди «пострадавших» — пенджабский (около 200 млн носителей), бенгальский (около 266 млн) и урду (около 288 млн). Дополнительные токены увеличивают стоимость запросов, повышают задержки и уменьшают объём текста, который помещается в контекстное окно модели. Это может ограничивать использование ИИ для работы с длинными документами и создания автономных ИИ-агентов, особенно в регионах, где вычислительные ресурсы и доступ к интернету уже ограничены.

Авторы отмечают, что проблема решаема. Токенизатор NLLB-200, специально разработанный для многоязычного перевода, показал наименьший разрыв. Модели Gemini и Gemma также продемонстрировали, что универсальные системы могут добиться более равномерной токенизации. Однако обновление модели не гарантирует улучшения для языков, недостаточно представленных в интернете. Исследователи призывают разработчиков ИИ публиковать показатели эффективности токенизации для разных языков, учитывать многоязычность при создании новых токенизаторов и пересмотреть ценообразование — например, рассчитывать стоимость обработки текста с учётом языка или количества символов, а не только токенов. Авторы также предлагают поддерживать создание открытых текстовых корпусов для недостаточно представленных языков.

#ИИ #искусственныйинтеллект #токенизация #русскийязык #английскийязык #цифровоеравенство #CLEAR #GPT5 #Gemini #Claude #DeepSeek #Qwen #Kimi #YandexGPT #GigaChat #лингвистика #технологии #доступностьИИ