提示注入对工业 AI Agent 的威胁,首先不在于它能否骗过模型说出一句错话,而在于它可能借由 Agent 的“主动操作”能力,把错误指令转化为对生产系统的真实动作。传统问答类模型输出的是文字,误判的代价主要停留在信息层面;一旦 Agent 能读取日志、调用接口,甚至调整生产参数,恶意文本就可能穿过语言层,直接影响设备与工艺。这正是本地化部署方案在设计时必须正视的安全边界问题。
在制造场景中,数据敏感性与操作权限叠加,使提示注入的后果被放大。制程参数、工艺配方和良率记录一旦被诱导泄露,损失的是企业的竞争壁垒;若被诱导修改参数,损失的则可能是产线稳定性与产品质量。因此,“数据不出厂”只能解决外泄路径问题,并不能自动消除内部注入风险。推理留在车间内,降低了传输过程中的暴露面,却没有改变 Agent 会解析外部输入、并依据输入决定动作这一基本逻辑。
风险的复杂性还来自链式委托。多个智能体按业务流程串联时,质检判定、设备诊断和工艺建议之间会相互传递结果。一旦前端某个环节被注入的内容影响,错误判断可能沿链条放大,后续环节未必能识别其来源。编排层因此需要配套权限隔离与行为约束,确保每个智能体只能访问其职责范围内的数据与接口,把单点失守限制在局部,而不是让整条链路连锁失效。
视觉输入同样不可忽视。车间监控视频经视觉大模型转化为结构化事件后,交给智能体判断。若这一转换环节的输出被构造得具有误导性,或者现场可见的文字、标识被用作恶意指令载体,Agent 就可能把伪造的“异常信号”当作真实事件处理。对此,工程上应当把视觉推理结果视为需要校验的中间数据,而非可以直接触发动作的指令。
防护思路可以归结为三层。第一层是输入侧,区分数据与指令,对进入 Agent 的外部内容进行来源标记与格式约束;第二层是权限侧,遵循最小授权原则,把可调用的接口和可修改的参数范围收窄到必要程度;第三层是动作侧,对影响生产参数的操作设置人工复核或阈值保护,使高风险动作不能仅凭模型判定完成。三者缺一,都难以在真实产线上形成可靠防线。
对决策者而言,评估这类风险时,不宜只关注模型是否“足够聪明”,而应看试点场景中 Agent 的权限边界是否清晰、异常动作能否被及时拦截、以及团队能否在闭环运行中持续验证其行为。提示注入的威胁随着 Agent 能力扩展而增长,安全设计也应随之同步演进。