COUNT адаптирует языковую модель к новой теме без дообучения

COUNT заранее считает частоты последовательностей токенов в корпусе и хранит их на обычной памяти компьютера. При работе модели эти частоты помогают выбирать подходящие представления следующих токенов — без добавления обучаемых параметров.

Авторы препринта сообщают, что при одинаковом вычислительном бюджете COUNT улучшил проверочную функцию потерь для моделей на 1 млрд параметров настолько, насколько её улучшило бы увеличение вычислений на 57%.

Для адаптации к новой задаче авторы предлагают подменять таблицу частот на данные из нужной области — без дополнительного обучения модели.

Подход может упростить адаптацию модели к специальной тематике: вместо нового обучения можно подготовить частоты последовательностей из профильного корпуса.

Это препринт: результаты и оценка эквивалентности дополнительным вычислениям заявлены авторами.

Артём · Пинзес AI