AI Agent 自动评测平台：测试集、LLM Judge、回归测试与 CI Gate 完整项目

核心功能

• 测试集工程化：JSONL/Excel 双模板，覆盖正常、边界、工具调用、安全、权限与对抗用例。
• LLM-as-a-Judge：Rubric 驱动、多维评分、结构化理由、Judge 注入防护，并提供离线 Mock 与真实模型接入。
• 规则 + Judge 混合评测：Exact/Contains、Tool Call、Safety 等确定性指标优先，主观维度再交给 Judge。
• 回归测试：对比主分支 baseline，报告总分、通过率、类别分、P0 失败、延迟与成本变化。
• CI Gate：绝对阈值、最大回退、类别下限、P0 硬门禁，失败以非 0 退出码阻断 PR。
• GitHub Actions：可配置为 Required Status Check，并兼容 merge queue 的 merge_group 事件。
• API 与 Docker：FastAPI、CLI、n8n、Docker Compose、测试、报告和审计结构完整。
• 企业治理：baseline promotion、Judge calibration、测试数据脱敏、Secret 管理、人工豁免与审计。

适合人群

适合 AI Agent/RAG/客服/自动化项目开发者、AI 平台工程师、Prompt 工程师、测试工程师、研发负责人、DevOps/MLOps、AI 安全团队，以及需要把“凭感觉调 Prompt”升级为可量化质量门禁的企业团队。

购买后获得什么

购买后可获得 PDF/Word 完整教程、系统提示词与 Judge 模板、n8n 工作流、Eval YAML、MCP 配置、知识库/测试集模板、FastAPI + CLI 示例源码、GitHub Actions、Docker 部署、测试评测表、安全检查表、效果示意图、报错清单、版本记录、商业使用说明和详细部署步骤。

包含哪些内容

1. 01-完整搭建教程.pdf
2. 02-Word可编辑教程.docx
3. 03-系统提示词与角色模板.md
4. 04-n8n或Dify工作流.json
5. 05-智能体配置文件.yaml
6. 06-MCP工具配置.json
7. 07-知识库导入模板.xlsx
8. 08-示例源码/
9. 09-Docker部署文件/
10. 10-测试用例与评测表.xlsx
11. 11-常见报错解决清单.md
12. 12-权限与安全检查表.xlsx
13. 13-最终效果截图/
14. 14-版本更新记录.md
15. 15-商业使用与免责声明.md
16. 16-详细部署步骤及注意事项.md

售后边界和免责声明

本资料主要用于学习、研究、项目搭建和合法商业应用，不包含模型 API 额度、GitHub 付费服务、云服务器、数据库等第三方费用。LLM Judge 本身具有概率性和偏差风险，不能替代人工验收、专业合规判断或高风险业务审批；生产上线前应做 Judge calibration、gold label 抽检与红队测试。

第三方模型、API、GitHub Actions、n8n、Docker 等接口、版本、价格和政策可能变化。资料不提供伪造评测、绕过 CI/审批、安全检查规避、未授权数据使用等用途支持。

29.90 ¥ – 购买 结帐 已添加到购物车