Perplexity Research и NVIDIA 21 октября показали метод JOLT (Joint On-policy Learning and Teaching) для пост-обучения языковых моделей. Одна модель играет сразу две роли: учитель видит проверенное решение, ученик его не видит, и обе роли обучаются совместно. Заявлено, что метод требует в 6-14 раз меньше токенов, чем обычное дообучение.

Для бизнеса это пока не про готовый продукт, а про то, откуда в следующих версиях моделей возьмётся более дешёвое и быстрое дообучение под узкую задачу: подсказки оператору, классификацию обращений, извлечение данных из документов. Если метод подтвердится на практике, дообучение своей модели под конкретный процесс в компании может подешеветь кратно, а не на проценты.

Сам бы проверил на небольшом датасете: интересно, держится ли экономия токенов на задачах с реальной бизнес-спецификой, а не только на тестовых бенчмарках, которые любят показывать разработчики методов. Пока это исследовательская статья, а не инструмент, который можно взять и подключить.

Илья

Источник: Habr, https://habr.com/ru/companies/selectel/news/1097978/