✋ JOLT от Perplexity и NVIDIA: модель учится быть учителем самой себе

21 октября Perplexity Research вместе с NVIDIA представила метод JOLT (Joint On-policy Learning and Teaching) для пост-обучения языковых моделей. Одна и та же модель играет две роли.

Учитель видит привилегированную информацию вроде проверенного решения, ученик ее не видит, и обе роли обучаются совместно. Давайте разбирать, превзошел ли ученик учителя.

Сегодня стандарт дообучения рассуждающих моделей — обучение с подкреплением по итоговой награде, чаще всего Group Relative Policy Optimization (GRPO). Сигнал у такого обучения редкий.

Модель узнает только, решила она задачу или нет, и на длинных агентных сценариях это превращается в огромный расход вычислений.

👀 Источник

✋ Secure Books