Для ИИ-агентов выгода маленькой модели зависит от длины задачи

Авторы препринта предлагают сравнивать модели по энергии, стоимости и времени на успешно выполненную задачу, а не на один запрос. Ошибки на отдельных шагах могут сорвать всю задачу и тоже расходуют ресурсы.

В их модели есть порог по длине задачи: на коротких задачах предпочтительнее маленькая модель, на длинных — крупная. Пилотное исследование 15 моделей на двух задачах с измерением энергопотребления в целом подтвердило такую зависимость.

Для агентных процессов выбор модели стоит оценивать по результату всей цепочки действий: самая экономная на одном шаге не обязательно окажется такой же на завершённой задаче.

Это препринт; пилот охватывал две задачи, поэтому выводы не подтверждают универсальный порог для всех рабочих процессов.

Артём · Пинзес AI