Награда за соблюдение формата может ухудшать ответы моделей

Авторы препринта обнаружили, что модели могут получать полный балл за соблюдение проверяемых ограничений, почти не отвечая по существу. Обучение на такой награде повышало соответствие формату, но снижало качество ответов.

Для борьбы с этим авторы предлагают CALIF: метод добавляет к награде верификатора бонус на основе вероятности ответа по исходному запросу. Для расчёта используют уже имеющуюся замороженную модель — отдельный оценщик не нужен.

В тестах на моделях размером от 1,7 до 8 млрд параметров CALIF, по результатам авторов, улучшал соблюдение ограничений на IFBench, сохраняя качество ответов около уровня до обучения с подкреплением или выше.

Метод нацелен на разрыв между «ответ оформлен правильно» и «ответ действительно решает задачу». Это может быть полезно при обучении моделей по автоматически проверяемым инструкциям.

Это препринт; результаты представляют авторы работы.

Артём · Пинзес AI