企业数据智能体的生产验收,验收的不是“能否用自然语言生成查询”,而是系统能否在真实数据、既定权限和持续运行条件下,稳定产出可追溯、可复核、成本可接受的结果。一次顺畅的演示只能证明特定问题在特定环境中可行,不能替代生产证据。
先定义可验收的结果
验收前应明确“成功”的含义:是生成了查询,查询能够执行,还是业务人员确认答案可用。对于“本月收入为什么下降”这类问题,验收不能只看返回速度,还要检查收入定义、时间范围、组织范围和数据来源是否符合企业口径。遇到指标歧义、字段缺失或上游延迟时,系统应主动追问或提示无法确认,而不是输出确定性结论。
测试集应由数据平台、业务团队和安全团队共同构建,覆盖多表关联、模糊表达、无权限访问、数据缺失和不可回答问题。既要记录正确答案,也要记录错误类型、人工复核时间和修正路径。特别是原因分析场景,系统只能证明数据之间存在变化或关联时,不应直接包装成因果结论。
把治理与工程纳入验收
生产验收至少要检查三类接口。第一是指标与语义接口:能否复用既有指标定义、业务术语、表间关系和数据血缘,面对相似指标能否解释选择依据。第二是身份与权限接口:不同角色对同一问题的访问结果是否一致受控,明细、汇总、导出和缓存是否都遵循权限边界。第三是质量与时效接口:数据异常时能否识别影响范围,并明确结果的适用边界。
系统还应纳入现有研发与运维流程。模型、提示词、元数据、工具接口和数据结构的变更需要可记录、可回归验证;关键指标退化时,应具备停止发布或回退机制。查询耗时、数据扫描量和工具调用次数也应受到约束,高风险的写入或导出操作必须设置独立授权和人工确认。
峰会分享和产品演示可以帮助企业识别技术路线与实施难点,但不能直接证明生产能力。更稳妥的做法是选择一个口径清晰、权限可控的场景,以只读方式与现有报表并行运行,持续记录可用结果、错误、复核投入和完整成本。只有当这些证据在真实运行中稳定成立,数据智能体才具备扩大数据范围和进入更高风险流程的条件。
