Цену запроса к LLM обычно прикидывают на коленке: открыл прайс — вход…

Цену запроса к LLM обычно прикидывают на коленке: открыл прайс — вход стоит столько-то баксов за миллион токенов, выход столько-то, — умножил на ожидаемые объёмы и успокоился. А потом прилетает счёт, и он расходится с этой математикой в разы. Бывает и наоборот: счёт ниже, потому что кто-то незаметно для себя попал в кэш.

Автор разобрал, что реально набегает за один вызов: какие цифры модель отдаёт в ответе и как их читать, почему ответ на три строчки может стоить как целая страница, когда кэш промптов экономит, а когда только накидывает расходов, и как четыре лишние тысячи токенов на входе способны удвоить цену запроса.

Читать далее

👉 Telegram | Max