DeepEval

DeepEval 是一个开源的 LLM 评估框架，让你能够以类似于使用 pytest 进行单元测试的方式编写 AI 应用的自动化测试。它内置了超过 50 种指标，涵盖准确率、忠实度、相关性、毒性和代理行为，并且适用于 RAG 管道、聊天机器人和多步骤代理。由于它可以直接集成到 CI/CD 管道中，团队可以在每次代码变更时自动运行评估，而不是将评估视为一项手动、一次性的任务。