智能体评估不能只看它能否给出正确答案。企业任务往往包含任务分解、知识检索、工具调用和业务动作;前一步看似合理的判断,也可能在后续环节造成错误。因此,测试对象应是从接收任务到完成交付的整条链路,而不只是最终回复。
功能正确性首先要回答两个问题:智能体是否理解并完成了预定任务,执行过程是否符合业务约束。评估样本应尽量取自真实业务,覆盖常见任务和容易混淆的情形;对于需要调用工具的流程,还应检查参数传递、结果使用和失败后的处理。只看最终结果,容易漏掉过程中的无效调用或错误决策。
边界与异常测试关注系统何时应停下。输入不完整、知识相互冲突、工具不可用时,智能体能否说明不确定性、请求补充信息或转交人工,而不是继续执行关键动作。安全与合规测试则应单独检查提示词注入、越权访问和敏感数据外泄等风险,并核对权限控制、人工确认、回退路径及审计记录是否真正起作用。
上线评估还需要业务与运行维度。任务完成率、人工接管率、处理时长和单位调用成本应在上线前确定口径与基线,否则难以判断智能体是否带来实际价值。提示词、工具集或知识库一旦变更,原有测试结果也不能直接沿用;回归测试应重点覆盖受影响的任务,并保留版本与变更记录,便于追溯问题。
测试范围最终应由场景风险决定。失败代价较高的流程,应先以辅助模式验证,并把人工复核纳入评估;只有功能表现、异常处置、安全边界和业务价值都达到预设要求,才有依据扩大自主权限。
