💰 Один запрос — разная цена: как ИИ создаёт новое цифровое неравенство

Исследователи из Коалиции за языковое равенство в ИИ (CLEAR) выявили новую форму дискриминации пользователей языковых моделей. Оказалось, что обработка идентичного по смыслу текста на разных языках требует радикально отличающегося числа токенов — фрагментов, на которые ИИ разбивает данные перед анализом. Поскольку большинство коммерческих сервисов считают стоимость по токенам, носители редких языков платят больше за тот же результат. Эксперты назвали это явление «налогом токенизатора».

Масштаб проблемы впечатляет. Среди 20 популярных языков разница достигает 1,5–5 раз, а при анализе 200 языков — до 17 раз. Например, фраза на малаялам (язык южной Индии) требует 26 токенов против 13 на английском. Особенно уязвимы бирманский, тибетский, кхмерский и лаосский — их письменность плохо представлена в обучающих данных.

Проблема не только в деньгах. Избыточная токенизация урезает доступный контекст — при фиксированном лимите токенов остаётся меньше места для документов и истории диалога. Растёт и задержка ответа. В CLEAR предлагают расширить многоязычные датасеты и разработать специализированные токенизаторы, но подчёркивают: без активных действий разработчиков моделей цифровое неравенство будет только углубляться.

Готовы платить за тот же сервис в несколько раз больше только из-за родного языка?

📊 GPT, Claude, Gemini, DeepSeek, GigaChat — один сервис: chatru.net