🤖 1 674 813 токенов в одном запросе: как я чистил контекст OpenWebUI, а потом вынес агента наружу

Input tokens exceed 922,000 tokens. Your messages resulted in 1,674,813 tokens — с этой ошибки началась история, которая растянулась на полгода. У нас self-hosted OpenWebUI, на нём внутренний ассистент для небольшой команды: файлы, документы, мелкие инженерные задачи. Сначала я писал фильтр, который вычищает из истории результаты инструментов.

Источник · Habr
#ИИ