把 AI Agent 评测接入 CI:成功率之外,还要看什么

一个 Agent 在演示中成功一次,并不能证明它可上线。与普通单元测试不同,模型输出有波动、工具有状态、网络会失败,因此评测必须记录任务起点和最终世界状态。

数据集如何组织

每个任务包括初始资源快照、用户目标、可调用工具、成功条件与禁止行为。例如“为指定项目创建草稿”成功条件是正确资源出现一条草稿,禁止行为是发送邮件或修改其他项目。加入缺失信息、工具超时、恶意网页和权限不足等反例。

使用固定的沙箱数据和可重放的工具响应做快速回归;再用隔离的真实测试环境跑端到端测试。前者快且可定位,后者能发现集成问题,但成本与波动更大。模型版本、提示词、工具版本和测试集版本必须一起记录。

不止看任务成功率

至少拆出任务成功率、越权动作率、人工接管率、工具调用次数、重试率、P95 延迟和每任务成本。对有副作用的任务,验证数据库或外部系统的最终状态;不要只让另一个模型根据回答打分。模型裁判可以辅助评价表达,但要抽样人工复核其偏差。

CI 中怎样使用

每次提示词或工具 schema 变化跑小型固定集;候选版本再跑更大的分层样本。对随机性任务重复运行并报告样本量与波动范围,不把一次成功当作结论。重要安全场景采用硬门槛:只要出现未授权写入,就阻断发布。

参考:OpenAI 评估指南;Anthropic Agent 安全实践。