Семь раз подумай, один раз обучиВ условиях дефицита видеокарт и высокой стоимости вычислений работать с ИИ по принципу “просто добавь ускоритель” уже не выходит. Учёные по всему миру бьются над оптимизацией обучения и инференса, и наши команды — не исключение. На
EMNLP 2026 в Будапеште приняли
сразу семь работ за авторством исследователей из
Т-Технологий — все прошли слепое рецензирование.
🤖Одна из работ выросла из зоопарка моделей. В Т-Банке дообучили
Qwen3-32B под реальные корпоративные задачи и перевели на неё запросы более чем 200 внутренних приложений. Теперь она
обрабатывает половину трафика внутренней LLM-платформы —
116 млн запросов в месяц. По данным команды, обслуживание обходится в 2,8-3,9 раза дешевле, чем на Qwen3-235B, а в проверенных задачах без режима рассуждений компактная модель даже обошла большую.
ℹ️Следующая статья — про документы, где автоматизация сама по себе ещё не гарантирует экономии. Исследователи
научили визуально-языковую модель извлекать нужные поля по текстовому запросу; для её дообучения достаточно одной
Nvidia H100. При расчёте стоимости учли и работу человека: какие поля можно принять автоматически, какие подтвердить, а какие разобрать вручную. Получилось более чем на
80% дешевле ручной обработки и более чем на 50% дешевле лучшей из протестированных открытых моделей.
💻 Дальше экономию искали внутри самой нейросети.
SimplexLoRA, разработанная вместе со Сбером, МФТИ и Университетом Иннополис,
распределяет ограниченный бюджет обучаемых параметров между слоями: больше достаётся тем, которые важнее для задачи, при этом общий бюджет не увеличивается.
LIMe позволяет слоям обращаться к результатам более ранних этапов обработки. В экспериментах на моделях примерно с миллиардом параметров это помогло достичь качества базовой LLaMA с
15% меньшими вычислительными затратами.
💻 Отдельная проблема возникла при обучении с подкреплением: модель закрепляет популярные способы решения, а редкие, но тоже верные, начинает выдавать реже.
F-GRPO ослабляет обновления на задачах, с которыми модель уже уверенно справляется, сохраняя разнообразие решений. В тесте на Qwen2.5-7B оказалось достаточно генерировать
восемь учебных ответов вместо 32, чтобы превзойти обычный GRPO в проверенных задачах.
✔️ В
ESSA ребята из
Т-Технологий пошли дальше и
заменили градиентный этап дообучения эволюционным поиском. Создаются слегка различающиеся настройки небольших адаптеров модели, проверяются ответы, удачные варианты задают направление следующему поколению. Видеокартам почти не нужно обмениваться данными. В эксперименте на
128 GPU метод довёл Qwen2.5-32B до заданного качества на математическом тесте
в 7,8 раза быстрее, чем GRPO с LoRA-адаптерами.
☣️ Седьмая работа,
KronSAE,
удешевляет исследование того, что происходит внутри модели. Метод помогает выделять интерпретируемые признаки и связи между ними, сокращая вычисления на их извлечение более чем на 40% относительно TopK SAE. Код нескольких разработок и открытую версию корпоративной модели команда опубликовала — коллеги могут воспроизвести методы и проверить их на своих задачах.
@anti_agi