Агенты думают вслух — каждый шаг рассуждения записывается словами…
Агенты думают вслух — каждый шаг рассуждения записывается словами, отсюда и расход токенов. HybridAgent думает векторами: скрытое состояние уходит на вход следующего шага напрямую, без записи фразы. Слова нужны, только чтобы позвать инструмент.
На 11 бенчмарках +10% качества, на 35–55% меньше токенов, в 2–3 раза дешевле. И мысли примерно читаемы — каждый латентный шаг раскладывается в ближайшее слово.
На 11 бенчмарках +10% качества, на 35–55% меньше токенов, в 2–3 раза дешевле. И мысли примерно читаемы — каждый латентный шаг раскладывается в ближайшее слово.
Просмотры: 2