Для выбора модели агенту нужна история диалога

Авторы препринта сравнили маршрутизацию моделей на многошаговых задачах с таблицами. При одинаковой доле запросов, переданных более дешёвой модели, учёт истории сессии повысил успешность задач; результат оказался не более чем на один процентный пункт ниже, чем при постоянном использовании дорогой модели.

Экономия зависит не только от цены токенов: на длинных сессиях преимущество дешёвой модели по стоимости одной задачи сократилось с 6,8 до 3,2 раза.

Смена модели влияет на повторное использование кэша — сохранённого контекста запросов. По расчётам авторов, переход с дорогой модели на дешёвую окупал затраты на кэш за два вызова, а обратный переход в испытанных условиях не окупался.

Маршрутизатор для агента должен выбирать модель с учётом всей сессии: предыдущие шаги влияют и на сложность текущей задачи, и на стоимость переключения. Это важно для приложений, где агент долго работает с одним документом или проектом.

Это препринт: результаты заявлены авторами и проверены на задачах с таблицами.

Артём · Пинзес AI