Forge — это инструмент на Python, который делает вызов инструментов локально размещаемых LLM более надежным.

Он помогает локальным моделям справляться с многоэтапными задачами, обеспечивая защитные механизмы, лучший контроль контекста и поддержку Ollama, llama-server, Llamafile и Anthropic.

Вы можете использовать его как исполнителя рабочих процессов, промежуточное ПО или прокси-сервер с клиентами в стиле OpenAI.

Github Community