智能体轨迹级评测，简单说就是不再只看智能体“答得对不对”，而是把一次任务从接收到完成的全过程——每一步模型调用、工具调用、参数传递、护栏判定——都纳入可量化的检查范围。它回答的不是“模型知识丰不丰富”，而是“这个任务到底办没办成、过程稳不稳定、出错时能不能被及时发现并兜住”。
为什么通用跑分撑不起这个判断？因为从通用基准到业务成功率之间，至少隔着三层结构性断裂。第一层是意图与业务语义的偏差：通用测试集里的问题表述完整、上下文干净，企业真实入口里的输入却夹杂简称、错别字、历史工单编号和口语化省略。模型能理解“帮我查一下订单”，不代表它能稳定区分“查订单状态”和“修改收货地址”这类在权限与流程上完全不同的意图。第二层是工具契约的不匹配：智能体和企业系统的交界不是自然语言，而是接口参数、枚举值、必填字段和鉴权上下文。模型选对了工具，却传了错误的枚举值或漏了必填参数，在业务侧就是一次失败调用。第三层是多步决策的非确定性：每多一步工具调用，路径分支就多一层，即使单步准确率很高，串联之后的端到端成功率也会被显著稀释。这三层问题在通用跑分里几乎不可见，却恰恰是生产环境里任务中断的主要来源。
轨迹级评测的核心做法，是把评测对象从“最终文本”换成“整条执行轨迹”。对多步任务，需要显式检查关键步骤是否遗漏、是否存在多余的高成本调用、中途的护栏判定是否被触发、出现异常时降级路径是否符合预期。更工程化的一点是，轨迹级评测把“幻觉”的定义也扩展了——它不只是说了不存在的知识，更常见的是用看似合理的参数调用了正确的工具，或者在工具返回异常时编造了一个成功结果。前者制造脏数据，后者制造业务风险，二者都比“答错一句话”更难被发现。
落地时，一套完整的评测体系通常需要三层能力并存：离线基准回答“这次改动能不能通过”，用人工构造与历史回流用例，检查意图准确率、工具调用正确率和轨迹完成率；影子与灰度回答“新版本敢不敢放量”，用真实流量的复制或小比例分流，与基线版本逐项对比；生产监控回答“现在出问题了吗”，直接盯线上真实交互轨迹的任务完成率、异常率、单任务成本与时延。三层不是替代关系，而是分别覆盖发布前、放量中和运行后的不同阶段。
离线阶段最容易忽略也最值得投入的，是工具契约测试。做法是把真实工具替换为可断言的桩，直接校验调用序列和参数——比如第一个调用必须是查询订单且订单号正确，最后一个调用必须是提交退款且原因代码在允许范围内。这类测试能抓住大量通用跑分完全无法暴露的问题：参数类型错误、枚举越界、在错误分支上调用高副作用接口，以及在工具返回失败后没有重试或降级而是直接编造结果。
上线门槛建议分层设定，并按逐项拦断而非加权总分来判定，避免“某项极差但被平均分掩盖”。两个容易被低估的维度值得单独强调：一是成本必须按“每个成功任务”计算而不是按每次调用计算，一个正确率高但重试频繁的智能体，单次成功成本可能远高于表面数字；二是时延本身就是功能的一部分，耗时过长才完成的任务在很多业务场景里等同于失败，因此时延预算应和准确率一起进入门槛。
生产阶段的核心资产是轨迹。一条完整轨迹应记录模型调用、工具调用及其参数与返回、护栏判定结果和交接动作，它既是排查依据，也是后续用例回流的原料。告警设计上建议区分三类信号：结果类信号（任务未达成终态、用户重复提问、会话转人工）最贴近业务体感，应作主告警；过程类信号（工具报错率、参数校验失败率、护栏拦截率突变）通常先于结果出现，是提前预警窗口；成本与时延类信号适合做趋势监控。人工接管机制要在设计阶段就定义清楚，对高副作用操作设置前置确认、置信度低于阈值时主动转人工、工具连续失败达上限时终止并升级，禁止模型自行“想办法绕过”。
评测体系能否长期有效，取决于失败样本能否稳定回流。固定路径是：线上异常轨迹经脱敏与标注后进入候选用例池，评审通过后并入离线用例集，绑定到回归门禁上，让每一次生产问题都转化为一道防止复发的检查。同时要做好用例集的版本管理，并把评测接入发布流水线，使关键门槛成为合并或上线的自动检查项。
这套体系有明确适用边界。任务链路短、副作用低、失败可即时人工补救的场景，可以只保留轻量离线回归加结果类监控；而当智能体开始接触订单、资金、权限、对外沟通等高副作用动作时，轨迹级评测与接管机制就接近于必需。企业智能体的可行性，最终应由一组与业务终态直接挂钩、可重复验证、可持续观测的指标来证明，而不是由模型在通用基准上的排名来背书。