«Подумать» у модели — не бесплатная опция: включённое reasoning жжёт…

«Подумать» у модели — не бесплатная опция: включённое reasoning жжёт в 3,7 раза больше энергии, а в медиане даёт лишь +4,5 балла. Nemotron берёт +20,6, у Qwen thinking вредит — −0,7, балл падает в 8 из 14 пар (размышления съедают лимит вывода, ответ обрезается).

Экономия проще: FP8 вместо BF16 срезает 27% энергии ценой 0,15 балла качества.
Просмотры: 3
Открыть в MAX Сообщить о неточности

Сообщить о неточности

Опишите, что нужно исправить. Если есть источник, добавьте ссылку.

Вы покидаете datool.ru

Ссылка ведёт на внешний сайт. datool.ru не отвечает за его содержимое — проверьте адрес, прежде чем вводить пароли или платёжные данные.

Переход через 10 с

Перейти