В разделе «Из песочницы» на Хабре — русская GPT на 112 млн параметров, целиком на PyTorch: свой байтовый BPE на 16 384 токена, контекст 768, претрейн, SFT с лоссом только по ответам, KV-cache, Telegram-бот.

BPC на отложенных 600 000 знаках против ruGPT3-small: веб 1,18 против 1,07, статьи 1,02 против 0,93, диалоги 0,92 против 0,98. Перевес только на диалогах. После SFT диалоги 0,91, а веб и статьи ухудшились до 1,22 и 1,07.

Автор сам оговаривает: токенизаторы и контексты разные, это не лидерборд. Код и веса — Apache-2.0.

habr.com/ru/articles/1098612/