如何设定智能体的人工接管阈值? - 软盟-软盟

如何设定智能体的人工接管阈值?

话题来源: 企业AI Agent从试点到规模化:先补齐流程自动化底座

智能体能回答采购申请中的问题,不代表它可以直接提交订单。人工接管阈值要界定的是:在什么条件下,智能体必须停止自主推进,把判断或操作交给有权限的人。这个阈值不宜只用一个“置信度”表示,因为回答不确定、资料不完整和操作可能越权,带来的风险并不相同。

设定阈值时,先按动作的后果划分风险,而不是按任务名称划分。整理材料、草拟回复等可复核且尚未改变业务状态的动作,可以允许智能体继续处理;写入采购系统、发起审批等会影响后续流程的动作,则要核对数据来源、规则依据和权限。若审批规则不明确、关键材料缺失,或请求与已有记录冲突,即使智能体认为自己能够完成,也应暂停执行并转人工判断。

接管条件还应覆盖运行异常。接口调用失败、用户重复提交、审批被退回时,不能简单地让智能体反复尝试,更不能把“已生成处理建议”记作业务完成。流程中需要事先约定:哪些情况允许按既定规则重试,哪些必须暂停,接管人能看到哪些请求、操作和异常记录,以及由谁决定恢复、回退或关闭任务。

阈值是否合适,要看接管发生的位置和结果,而非单看人工介入率。介入过早,人工仍在处理大量常规任务;介入过晚,则可能增加返工或产生难以追溯的错误。上线前可用常规任务与例外任务分别检验,运行后结合端到端完成率、异常与返工情况调整规则。合理的阈值不是让人工越少越好,而是让机器在边界清楚时持续执行,在依据不足或后果难以控制时及时停下。