通用基准上的高分，常常在立项会上被当作可行性证据，试点演示也能顺利通过。真正接入生产系统后，跨系统查询、权限校验、多轮澄清这类任务开始频繁中断，业务侧统计的任务完成率明显低于演示时的观感，失败方式还极不稳定——同一个问题今天能办成，明天可能卡在第三步工具调用上。差距的根源是评测对象错位，并非模型退化：通用跑分衡量的是“回答得像不像”，而业务系统关心的是另外三件事——任务有没有办成、调用是否稳定可复现、出错后能否被及时兜住。
跑分与业务成功率之间的三处断层
第一处是意图与业务语义的偏差。通用测试集里的问题往往表述完整、上下文干净；企业真实入口的输入夹杂简称、错别字、历史工单编号和口语化省略。模型能理解“帮我查一下订单”，不代表能稳定区分“查订单状态”和“修改收货地址”——这两件事在权限与流程上完全不同，误判代价也不对等。
第二处是工具契约的不匹配。智能体与企业系统的交界是接口参数、枚举值、必填字段和鉴权上下文，并非自然语言。模型选对了工具，却传错枚举值或漏掉必填参数，在业务侧就是一次失败调用。这类问题在通用跑分里几乎不可见，因为它只看最终文本，不看调用序列。
第三处是多步决策的非确定性。每多一次工具调用，路径分支就多一层，即使单步准确率很高，串联之后的端到端成功率也会被显著稀释。这解释了为什么演示时“观感很好”——演示往往走的是最短、最干净的路径。
由此可以给智能体场景下的“幻觉”一个更工程化的定义：它不只是说了不存在的知识，更常见的是用看似合理的参数调用了正确的工具，或者在工具返回异常时编造一个成功结果。前者制造脏数据，后者制造业务风险，二者都比答错一句话更难被发现，也更难靠人工抽检兜住。
评测对象应从答案换成轨迹
三处断层指向同一个结论：评测的观测对象必须从最终文本扩展到执行轨迹。关键步骤有没有遗漏、有没有多余的高成本调用、护栏判定是否被触发、工具失败后走的是重试降级还是编造，这些只有在轨迹层面才能断言。同时，单次发布前跑一遍测试集只是快照式保障，随着流量模式变化、检索文档过期、新边缘案例出现，质量会在生产环境中自然衰减，所以离线基准、灰度对比与线上监控需要共享同一套指标定义和同一份用例资产。
放行条件也应随之改写：采用逐项拦断而非加权总分，避免某项极差被平均分掩盖；高风险任务设独立红线；成本按“每个成功任务”核算，而不是按每次调用核算；时延和准确率一起进门槛，因为超时完成在很多业务场景里等同于失败。剩余的一件事是把线上异常轨迹脱敏、标注、回流成离线用例，让每次告警都变成一道防复发的检查。企业智能体的可行性，最终要由与业务终态直接挂钩、可重复验证、可持续观测的指标来证明，模型排名无法承担这个证明责任。