«Подумать» у модели — не бесплатная опция: включённое reasoning жжёт…
«Подумать» у модели — не бесплатная опция: включённое reasoning жжёт в 3,7 раза больше энергии, а в медиане даёт лишь +4,5 балла. Nemotron берёт +20,6, у Qwen thinking вредит — −0,7, балл падает в 8 из 14 пар (размышления съедают лимит вывода, ответ обрезается).
Экономия проще: FP8 вместо BF16 срезает 27% энергии ценой 0,15 балла качества.
Экономия проще: FP8 вместо BF16 срезает 27% энергии ценой 0,15 балла качества.
Просмотры: 3