行业智能体的难点，不是“能不能回答”，而是能否在真实业务流程中持续、可控地完成任务。可靠评测因此不能只看模型输出质量，也不能用一次演示替代长期验证，而应围绕具体行业场景建立从任务目标、执行过程到最终结果的完整评价体系。
先定义任务，再定义指标
评测对象应从“模型”转向“智能体任务”。同一个智能体在知识问答、流程办理、代码辅助或运维处置中的风险完全不同，必须先明确任务边界、输入条件、允许调用的工具以及人工接管节点。评测集应覆盖高频任务、复杂任务和异常任务，并保留一部分未参与开发的数据，用于检验泛化能力。
指标设计至少包括四层：一是结果正确性，判断最终产出是否满足业务要求；二是任务完成度，关注是否遗漏关键步骤、是否正确调用工具；三是过程可靠性，检查权限使用、事实依据、异常处理和回滚能力；四是运营表现，观察响应稳定性、人工介入频率与资源消耗。对于高风险场景，安全边界和可审计性不应被“平均得分”掩盖，任何关键违规都可能比一般错误更重要。
从一次验收转向持续评测
行业智能体会受到知识库更新、业务规则变化、工具接口调整和提示策略修改的影响，因此评测不能只在上线前进行。企业应建立固定的基准任务集，记录每次版本变更后的结果，并对失败样本进行分类：是知识缺失、意图判断错误、工具调用失败，还是权限与流程设计不合理。只有把失败原因沉淀为可复现的测试样例，评测才会反过来推动系统改进。
人工评审仍然不可替代，但不应停留在笼统的“好或不好”。评审人员需要依据明确标准检查事实、完整性、合规性和表达适用性；对关键任务，还应保留执行轨迹和结果依据，确保问题能够追溯。
可靠评测体系的核心，是把“模型看起来聪明”转化为“任务结果可验证、过程可控制、错误可定位”。企业在试点行业智能体时，宜先选择边界清晰、结果可核验的场景建立基线，再逐步扩大任务范围，而不是先追求覆盖更多场景。