当制程参数、机台生产数据和工艺知识不能离开厂区时,制造企业部署 AI Agent 的首要问题就不再是“哪个模型效果最好”,而是如何在数据不出厂的前提下,同时解决算力、部署、运维、安全和跨厂区复制问题。此时,模型、边缘算力与管理平台应被视为一个整体进行评估,而不能只比较单项推理性能。

一、先明确本地部署的真实约束
1. 数据不出厂不等于系统完全隔离
本地化部署通常意味着模型推理、知识库检索、数据预处理和智能体执行尽量在企业内网或厂区边缘侧完成。但这不代表系统天然安全。以下数据仍需要被纳入边界管理:
- 机台运行状态、报警记录和维护日志;
- 制程参数、配方、工艺窗口和质量检测结果;
- MES、ERP、WMS、SCADA 等系统中的业务数据;
- 设备视频、声音、图像和传感器时序数据;
- 模型输入、输出、提示词、工具调用记录和操作日志。
如果智能体调用外部模型接口、远程运维服务或第三方知识库,数据仍可能通过日志、接口参数或错误追踪信息离开厂区。因此,企业应先画清数据流向,再决定哪些组件可以连接外部网络、哪些组件必须部署在内网,以及哪些运维动作需要人工审批。
2. 算力需求取决于任务组合,而不只是模型参数量
制造业 AI Agent 可能同时承担文档问答、设备异常分析、视觉检测辅助、生产瓶颈分析和跨系统查询。不同任务对硬件的要求差异很大:
| 任务类型 | 主要资源需求 | 更适合的部署位置 | 选型关注点 |
|---|---|---|---|
| 工艺文档问答 | 内存、向量检索、稳定推理 | 厂内服务器或部门级节点 | 知识库更新、权限隔离、响应稳定性 |
| 设备状态分析 | 时序数据处理、持续运行能力 | 产线边缘节点 | 接口兼容、低延迟、断网运行 |
| 视觉或多模态分析 | GPU显存、数据吞吐、存储 | 产线边缘或厂区机房 | 摄像头接入、散热、显存余量 |
| 生产异常诊断 | CPU、GPU、数据库和工作流协同 | 厂区中心节点 | 多系统连接、任务编排、审计追溯 |
| 模型微调与集中训练 | GPU集群、高速存储和网络 | 企业数据中心 | 数据准备、资源调度、训练隔离 |
因此,不能仅用“支持多少亿参数”判断方案是否合适。企业还需要评估并发用户数、智能体数量、上下文长度、检索数据规模、峰值任务量、响应时限和是否需要持续视频分析。
3. 模型适配往往比模型下载更复杂
本地部署的难点通常不止于把模型安装到服务器上,还包括:
- 模型与 GPU、驱动、推理框架的兼容;
- 量化、并行和上下文配置;
- 企业术语、工艺知识和设备编码的映射;
- MES、ERP、设备接口和数据库的工具调用;
- 不同厂区知识库、权限体系和数据口径的差异;
- 模型升级后对提示词、工作流和输出格式的影响。
如果没有统一的平台管理,IT团队可能需要逐台配置环境,业务团队则要分别维护多个 Agent。短期试点可以运行,长期扩展时却容易形成“每个部门一套环境、每个厂区一套规则”的运维负担。
二、从数据边界反推整体架构
本地化 AI Agent 的架构可拆分为五层。各层的职责应尽量清晰,避免让大模型直接承担设备控制或核心业务判断。
1. 数据与设备接入层
这一层负责连接 PLC、传感器、机台、摄像头以及 MES、ERP、WMS 等业务系统。重点不是接入数量,而是保证数据的身份、时间和质量可追溯。
需要重点确认:
- 是否支持现有工业协议和企业接口;
- 设备数据是否可以进行标准化和时间对齐;
- 原始数据与加工后特征是否分级存储;
- 数据采集异常时能否缓存、补传和告警;
- 不同设备、产线和厂区是否有统一编码。
对于高频时序数据,不宜直接全部送入大模型。更合理的方式是先在边缘侧进行清洗、聚合、特征提取和异常筛选,再把结构化结果交给 Agent 分析。
2. 边缘计算与本地算力层
边缘节点负责距离设备最近的实时任务,例如状态监测、视觉预处理、异常初筛和断网情况下的基础推理。厂区中心服务器则适合承担多个产线共享的模型服务、知识库、工作流和审计任务。
一种常见的分层方式是:
设备与产线
↓
边缘采集与预处理节点
↓
厂区算力服务器与模型服务
↓
知识库、业务系统和Agent编排平台
↓
管理看板、人工复核与执行系统
这种架构可以减少原始数据跨网络传输,也能在厂区网络不稳定时保留部分关键能力。但边缘节点越多,硬件生命周期、版本管理、备份和远程维护的复杂度也越高。因此,边缘部署应以明确的实时性和连续运行需求为依据,而不是把所有组件都下沉到产线。
3. 模型与推理服务层
模型服务层应提供统一的调用入口,屏蔽不同模型、不同推理框架和不同硬件之间的差异。企业需要关注:
- 是否支持多个模型并行运行;
- 是否可以按场景设置模型、温度、上下文和资源配额;
- 是否支持量化模型和版本回滚;
- 是否能记录输入、输出、引用资料和工具调用;
- 是否能限制模型访问的系统和数据范围;
- 是否提供离线升级、镜像管理和依赖包管理。
对于制造场景,模型不应直接成为唯一决策来源。设备控制、质量判定和工艺变更等高风险动作,通常需要由规则引擎、专业算法或业务系统承担确定性判断,大模型主要负责理解、归纳、解释和协调。
4. Agent编排与工具调用层
Agent 的价值在于把自然语言理解、知识检索、数据查询和业务动作连接起来。例如,生产异常分析 Agent 可以按照以下流程工作:
- 获取指定产线和时间段的生产数据;
- 查询设备报警、换线记录和质量检测结果;
- 检索经过授权的工艺知识和历史处理记录;
- 生成可能原因及证据;
- 按预设规则判断是否需要人工复核;
- 将报告发送给指定人员;
- 由人工确认后再触发工单、排程或维护流程。
其中,模型可以提出分析建议,但是否创建工单、调整参数或改变生产计划,应由权限、规则和审批流程控制。这样既保留智能体的灵活性,也避免不可追溯的自动操作。
5. 管理、安全与审计层
管理平台是软硬一体方案中的关键组成部分。它不应只是一个模型启动工具,还需要覆盖:
- 算力资源监控;
- 模型与镜像版本管理;
- Agent、工具和知识库的统一发布;
- 用户、角色、厂区和数据权限;
- 任务队列、并发限制和资源调度;
- 日志、告警、审计和操作留痕;
- 备份、容灾和故障恢复;
- 多厂区模板复制与差异化配置。
对于7×24小时运行的制造系统,平台能否快速发现 GPU、存储、温度、网络或模型服务异常,往往比单次测试中的模型回答质量更影响实际使用。
三、为什么要采用软硬一体的评估方式
1. 硬件稳定性决定业务能否持续运行
工业现场的服务器和边缘设备需要面对长时间运行、空间受限、环境温度变化、灰尘、振动以及电源波动等条件。选型时应核对:
- 是否支持冗余电源和关键部件更换;
- 散热方案能否满足持续高负载;
- 存储是否支持冗余和健康状态监控;
- GPU、CPU、内存和网络是否有足够扩展空间;
- 是否提供硬件告警、远程管理和故障诊断;
- 备件、维修和响应服务覆盖哪些区域;
- 设备生命周期和固件支持周期如何安排。
这类指标不一定直接提高模型的基准分数,却会影响停机风险、维护成本和业务部门对系统的信任。
2. 平台能力决定部署成本
同样一组 GPU,如果每个项目都需要人工安装驱动、配置容器、部署模型和排查依赖,企业的实际成本会快速上升。管理平台应尽量把复杂操作标准化,例如:
- 通过模板快速创建模型服务;
- 将 Agent 工作流、提示词、工具和权限打包发布;
- 对不同硬件节点自动分配合适的任务;
- 统一查看服务状态、资源使用和错误日志;
- 支持测试环境与生产环境隔离;
- 支持版本灰度发布和一键回滚。
平台的价值不只是降低首次部署门槛,更在于让后续扩展不完全依赖少数熟悉底层环境的工程师。
3. 联合调优决定资源利用率
软硬件联合调优应围绕业务任务展开,而不是只围绕设备参数展开。调优对象包括:
- 模型大小与显存占用;
- 量化方式与回答质量;
- 批处理、并发和响应延迟;
- 检索文档分片和向量索引;
- CPU、GPU、内存和存储之间的配置;
- 边缘预处理与中心推理的任务分配;
- 不同 Agent 之间的资源优先级。
例如,实时报警分析需要低延迟和稳定响应,离线报告生成则可以接受排队。如果两类任务争用同一组资源,企业应通过资源配额、任务优先级或独立节点进行隔离,而不是简单增加模型数量。
四、从试点到多厂区复制的实施路径
第一阶段:确定高价值且低风险的场景
建议优先选择能够体现效率价值、但不会直接改变设备控制状态的场景,例如:
- 设备维修知识问答;
- 异常报警归因辅助;
- 生产日报和交接班报告生成;
- 工艺文件检索与版本核对;
- 质量问题的历史案例检索;
- 生产瓶颈的分析报告。
试点目标应包括准确性、响应时间、人工复核率、系统可用性和数据边界,而不应只记录模型回答是否“像人”。
第二阶段:建立离线验证环境
在正式接入产线前,应准备一套与生产环境隔离的测试环境,验证:
- 真实数据脱敏后的可用性;
- 模型对企业术语和设备编码的理解;
- 知识库检索是否引用正确版本;
- 工具调用是否遵循权限;
- 异常输入、空数据和接口中断时的行为;
- 高并发和持续运行下的资源表现;
- 模型升级后的回归结果。
对于涉及质量、工艺和安全的场景,应保留专家标注集,持续比较模型输出与工程师判断之间的差异。
第三阶段:设置人机协同和审批边界
可以将 Agent 动作分成三类:
| 动作级别 | 示例 | 建议控制方式 |
|---|---|---|
| 只读分析 | 查询设备状态、生成日报 | 自动执行并记录日志 |
| 建议型操作 | 提出调参建议、生成维修方案 | 必须由指定人员确认 |
| 执行型操作 | 创建工单、调整排程、修改设备参数 | 多级审批、权限校验和可回滚 |
边界越清晰,越容易通过安全审查,也越容易在出现错误时定位责任。对于需要调用外部系统的 Agent,建议使用最小权限账号,并为每个工具设定输入校验、调用范围和失败处理方式。
第四阶段:形成可复制的厂区模板
多厂区复制的核心不是把服务器和模型简单搬过去,而是将共性能力与本地差异拆开管理。
共性部分可以包括:
- Agent 工作流;
- 权限模型;
- 日志格式;
- 监控指标;
- 告警规则;
- 部署脚本和版本流程;
- 测试用例和验收标准。
本地差异则包括:
- 设备协议和数据字段;
- 产线编码;
- 工艺知识库;
- 用户角色;
- 网络拓扑;
- 现场运维责任;
- 当地合规和安全要求。
通过参数化配置、标准镜像和统一版本管理,企业可以减少重复开发,也能避免不同厂区长期运行不同版本导致的维护困难。
五、选型核对清单
算力规格
- 计划运行哪些模型,是否需要量化或多模型并行?
- 推理、训练、微调和视觉分析是否共用资源?
- 峰值并发和可接受响应时间是多少?
- GPU显存、CPU、内存和存储是否留有扩展余量?
- 是否需要高速网络、共享存储或多节点调度?
- 断网时哪些能力必须继续运行?
- 服务器能否满足机房、电力、散热和噪声条件?
公开资料中可能会列出具体服务器的处理器、GPU数量、内存容量、存储接口和电源规格,但这些参数会随产品版本、配置组合和供货周期变化。采购前应以正式规格书、配置单和现场验证结果为准,不能直接把宣传页面中的最高配置视为项目可交付配置。
部署位置
- 哪些任务必须靠近产线?
- 哪些模型和知识库可以集中放在厂区机房?
- 边缘节点与中心节点之间传输哪些数据?
- 网络中断时是否有缓存、重试和降级策略?
- 是否需要跨厂区集中管理?
- 是否存在不同安全域和网络隔离区?
- 设备维护是否允许远程访问,远程访问如何审批和审计?
平台能力
- 是否支持模型、Agent、工具和知识库的统一管理?
- 是否支持角色、厂区、部门和数据级权限?
- 是否具备服务监控、资源监控和异常告警?
- 是否支持版本发布、灰度验证和回滚?
- 是否能导出完整的调用与操作审计记录?
- 是否提供离线安装、升级和备份能力?
- 是否能将试点环境复制为标准生产环境?
运维责任
- 硬件故障由谁响应,服务时限如何定义?
- 模型、驱动、容器和平台分别由谁维护?
- 业务知识库由哪个部门审核和更新?
- Agent 输出质量由谁验收?
- 发生错误建议或错误执行时,谁负责暂停服务?
- 多厂区的版本和配置由谁统一管理?
- 项目结束后,企业是否具备独立运维能力?
六、如何判断方案是否适合企业
本地化 AI Agent 并不适合所有制造场景。企业至少应满足以下条件:
- 核心数据确实需要留在厂区或企业内部;
- 有明确的业务场景和可量化的改善目标;
- 厂内具备基本网络、数据采集和系统集成条件;
- 有人员负责模型、平台、设备和业务知识维护;
- 能够接受前期硬件、平台和集成投入;
- 业务部门愿意参与数据治理、测试和验收;
- 对智能体的自动化边界有明确规定。
如果企业只有零散数据、缺乏稳定接口,或者尚未明确使用场景,直接采购高规格算力设备可能造成资源闲置。相反,如果企业已经拥有多个产线系统、明确的保密要求和持续运行需求,那么将边缘硬件、厂区算力、Agent平台和运维体系放在同一框架内评估,更有利于控制长期成本。
结语
“数据不出厂”首先是安全约束,其次才是技术选型条件。它要求企业重新审视数据流、部署位置、模型服务、工具权限和运维责任。真正可落地的方案,不是单独购买一台高算力服务器,也不是单独部署一个 Agent 平台,而是建立一套能够在厂内稳定运行、可被审计、能够持续调优,并且可以复制到不同厂区的软硬一体架构。
最终的评估重点应回到三个问题:现有算力能否支撑目标业务,平台能否降低长期运维复杂度,方案能否在安全边界内持续复制。只有这三点同时成立,本地化部署才不只是一次技术试点,而能逐步成为制造企业可管理、可扩展的生产力基础设施。
软盟——专注软件定制开发、AI智能体、区块链与全场景数字化解决方案,拥有10+年技术沉淀,支持100%全量源码交付、7×24小时极速响应,服务覆盖APP/小程序开发、电商全链路系统、数智化转型全周期需求,了解完整服务与最新产品可联系客服!













