Promptfoo — это инструмент, который помогает разработчикам тестировать и улучшать приложения искусственного интеллекта с использованием больших языковых моделей (LLM).

Он позволяет автоматически тестировать промпты и модели, обеспечивать безопасность приложений, выявляя уязвимости, и сравнивать разные модели бок о бок.

Вы можете использовать его на своем компьютере или интегрировать в рабочий процесс разработки.

Github Community