Нашёл быстрый единый вход во все LLM сразу — GoModel

Этот сервис на Go даёт OpenAI-совместимый API поверх всего зоопарка: от OpenAI и Claude до Groq и Ollama. По сути это уже API-шлюз для LLM, как nginx когда-то для веба.

Главный кайф — двухслойный кэш (вплоть до семантического): до 60–70% запросов можно вообще не гонять в модели.

Быстрее, дешевле, чище