直接答案：AI 质检最容易出的问题，不是算法在实验室不够准，而是 FAT 只验“机器造得对不对”，SAT 没验“在你的车间能不能用”。云质变 2026-11-10 白皮书披露的浙江压铸厂案例里，系统 8 项 FAT 全绿、实验室准确率 99.2%、320 件样品全过，上线后却因灯光漂移、油雾、振动和节拍差异，误报升到每天 200 多次，第三周被班组长关掉自动剔除，退化成“辅助提示”。验收条款要抓五条线：漏检率/过杀率、缺陷分级、冻结测试集与快照、误报率/报警疲劳、责任矩阵；YD/T 7112-2026、YD/T 7171-2026 可作为数据与推理平台的参照，但都不是效果保证。
一、一个通过 FAT、死在 SAT 的项目
案例发生在 2026 年 3 月。浙江一家压铸厂的视觉质检系统在供应商实验室通过全部 8 项 FAT：准确率 99.2%，320 件样品全绿，单件检测 0.42 秒，比合同写的 0.5 秒还快，验收报告 26 页。买方设备工程师后来回忆，唯一不对劲的是“样品太干净”：没有油膜、没有脱模剂残留、没有料饼毛刺，挑件时还被人手擦过。
4 月到场后，车间和实验室的差异第一周就暴露出来：12 米高棚 LED 在 8 小时周期内有可测的光强漂移；压铸机开模瞬间油雾逸出，在镜头保护镜上结膜；相邻 400 吨压铸机合模冲击传来，相机支架跟着抖；现场每分钟 28 件、日产能 4.2 万件，不是实验室的单件上料。这四项差异，一条都没写进 FAT 的 26 页报告——不是供应商隐瞒，是 FAT 的定义里就没有这四项。
第三周，误报每天 200 多次，真正需要处理的不一成；操作员每次停下来看一眼要 40 秒。班组长把自动剔除关了，产线恢复原节拍，人工复检照旧。系统还在跑，屏幕上还在出框，只是没人再按它的结论执行。四个月后复盘，供应商说“客户没用起来”，客户说“系统不准”，两边都没说到点上：项目没有失败，也没有成功，它变成了“辅助提示系统”。
二、为什么“准确率 99%”不是尺子
准确率的分母是全部样本，在缺陷率极低的产线上会骗人。假设日处理 10 万件、缺陷率 0.3%（每天 300 件真缺陷），同一个“99%”拆成灵敏度和特异度，结果完全不同：
| 灵敏度 | 特异度 | 整体准确率 | 漏检/天 | 误检/天 | 每抓 1 个真缺陷陪几个误报 |
|---|---|---|---|---|---|
| 95.0% | 99.1% | 99.10% | 15 件 | 约 887 件 | 约 3.1 个 |
| 99.0% | 99.0% | 99.00% | 3 件 | 约 997 件 | 约 3.4 个 |
| 99.3% | 99.9% | 99.90% | 约 2 件 | 约 100 件 | 约 0.3 个 |
按云质变白皮书算例（日 10 万件、缺陷率 0.3%）复算；整体准确率接近，误报负担可能差十倍。表格可横向滑动。
更直观的是年账：按案例第一行每天 887 件误检、单件复检 5 元、年生产 250 天，年复检成本约 110.9 万元；漏检 15 件/天，一年 3,750 件流到客户。这 110 万元不会出现在验收报告的“准确率、误报率、节拍”三行里，要等财务年底算账才浮出来。注意：这是文中假设下的测算，不是行业统一数字；单件复检成本、材料成本、客户索赔差异很大。
三、五条验收线
- 用漏检率/过杀率替代单一准确率。 漏检是坏件流到客户，过杀是好件被误剔；两者成本不对称，阈值应由质量成本决定，不是由供应商的准确率决定。
- 按缺陷等级分列指标。 A 级致命缺陷、B 级主要缺陷、C 级次要缺陷，不能共用一个“95%”。A 级要求可以接近零漏检，C 级允许更高过杀，但要有复检工位兜底。
- 冻结测试集与快照。 写明样本数量、缺陷类型、班次/批次/磨损状态覆盖，双方封样并存哈希；验收结论绑定模型权重、数据集、知识库快照，快照一变旧结论作废，必须重测。
- 把误报率和报警疲劳当一级指标。 行业经验是误报率超过 5%，操作员会习惯性忽略报警；案例第三周关闭自动剔除，就是报警疲劳的结果。验收要写“每天/每班允许多少次误报、连续几天超标触发整改”。
- 责任矩阵。 数据谁灌、更新谁负责；答不上来转人工的阈值谁定；改需求算不算返工。技术对口人签不了这三行，必须业务负责人签。
四、FAT/SAT/PPAP/MSA 怎么搬到 AI
| 门 | 物理设备 | AI 质检现状 | 建议 |
|---|---|---|---|
| FAT | 出厂验收，验机器造得对不对 | 供应商自选测试集、自定口径 | 写清测试集来源、样本量、缺陷类型、光照/节拍条件 |
| SAT | 现场验收，验在你的车间能不能用 | 常被“上线跑两周”替代 | 按班次/批次/磨损状态做现场测试，记录误报和人工介入 |
| PPAP | 量产件批准，验能不能交付 | 模型升级不重新批准 | 模型版本变更走变更评审，重新跑验收集 |
| MSA | 量具分辨力与一致性 | 很少做标注一致性/GRR | 做标注一致性分析；低缺陷率下别只用 Kappa |
| Cpk | 过程能力 | 多数项目没有 | 用稳定生产段的数据算能力，不用验收当天快照 |
据云质变白皮书的 FAT/SAT/PPAP/MSA/Cpk 对照整理；具体统计方法按企业质量体系确定。表格可横向滑动。
五、合同六行：三行技术签、三行业务签
| 验收行 | 写清楚什么 | 谁签 |
|---|---|---|
| 1. 数据范围与更新责任 | 哪些数据由谁灌、多久一次、灌错谁改 | 业务负责人 |
| 2. 验收样本与命中率口径 | 多少条样本、谁出题、谁判对错、剔除清单谁批 | 双方技术负责人 |
| 3. 兜底行为与人工介入阈值 | 答不上来给什么、连续几次转人工 | 业务负责人 |
| 4. 并发与时延 | 峰值 QPS、p95 毫秒、超时怎么降级 | 双方技术负责人 |
| 5. 日志与追溯 | Trace 保留多久、谁能调、多久给结论 | 双方技术负责人 |
| 6. 变更与二次开发边界 | 交付后改需求算不算返工、怎么计价 | 项目负责人 |
据云质变白皮书“六行验收单”整理；第 1、3、6 行技术对口人往往签不了，需业务负责人承担。表格可横向滑动。
还有一个容易漏的细节：剔除清单。同一批 40 条样本，全算 p95 是 8000 毫秒；剔掉 3 条超时的，p95 变成 2460 毫秒，命中率也从 0.85 涨到 0.919，全部达标。差的那 3 条，正是真实用户会遇到的部分。验收报告最该追问的不是通过率，而是“剔除了几条、为什么剔、谁批的”。
六、标准怎么用：YD/T 7112/7171 是参照，不是保证
工信部 2026 年第 18 号公告里的两项标准，可以作为验收的“参照物”：YD/T 7112-2026《人工智能 关键基础技术 图像数据集质量评估要求》给出图像数据集的评估原则、分级、指标与方法；YD/T 7171-2026《人工智能 关键基础技术 大模型推理平台技术要求》覆盖模型压缩、部署、推理、平台服务与管理。两项都于 2026-11-01 实施。
但要说清楚：它们是通信行业推荐性标准，不是强制认证，也不规定你这条产线的漏检率、过杀率或节拍。正确用法是写进 RFP 的技术附件，要求供应商说明数据质量评估怎么做、推理平台怎么部署/监控/回滚；效果仍要在你的冻结测试集和现场 SAT 上验证。标准是尺子的说明书，不是测量结果。
七、五个边界
- 案例是厂商白皮书披露，未独立核验。 不能用它推断“多数项目都这样”，只能作为验收清单的反面教材。
- 110.9 万元是按文中假设的测算。 不是行业平均，也不包含好件报废、客户索赔、停线损失。
- 准确率不是唯一指标，也不能完全废弃。 它要和漏检率、过杀率、缺陷分级、误报率一起看。
- 标准不是认证，不保证效果。 YD/T 7112/7171 是推荐性行业标准，不能写成“通过认证”或“准确率达标”。
- 验收条款不能替代 POC。 先单工位、小样本、冻结测试集跑通，再谈整线复制；不要用一份 26 页 FAT 报告代替现场 SAT。
数据来源与口径
- 云质变科技《2026 工业 AI“验收”白皮书：准确率 99%，同一个零件测三次两个答案》，2026-11-10；2026-11-13 访问。用于浙江压铸厂案例、8 项 FAT、99.2%、320 件、0.42 秒、四项现场差异、第三周关闭自动剔除、准确率拆解算例、六行验收单与 FAT/SAT/PPAP/MSA 对照。厂商白皮书，未独立核验。
- 工业和信息化部公告 2026 年第 18 号，2026-07-15 成文、2026-07-24 发布；2026-11-13 访问。用于 YD/T 7112-2026 图像数据集质量评估、YD/T 7171-2026 大模型推理平台标准及 2026-11-01 实施日期。
- 口径：案例与算例均为厂商披露/文中假设，不是行业统计；金额为按假设参数的算术测算；标准为通信行业推荐性标准，不构成认证或效果保证。
常见问题
这个压铸厂案例是真的吗？
它来自云质变 2026-11-10 的白皮书，文中未披露企业名称，也没有第三方核验。本文把它当作“验收失败模式”的案例，不当行业统计，也不推断其他工厂的比例。
准确率 99% 还能不能写进合同？
可以写，但必须同时写清灵敏度/特异度或漏检率/过杀率、测试集、缺陷率、判定口径和考核窗口。低缺陷率下，同一个 99% 可能对应完全不同的误报负担。
验收到底要写哪些指标？
至少包括：A/B/C 缺陷分级、漏检率、过杀率、误报次数/班、p95 时延、可用率、剔除清单与审批、模型/数据快照、变更与复测规则。指标要能测、能复现、能追责。
FAT 和 SAT 有什么区别？
FAT 在供应商实验室验“机器造得对不对”；SAT 在你的车间验“在你的光照、油雾、振动、节拍下能不能用”。只做 FAT 就签字，等于把实验室结论直接当现场结论。
YD/T 7112/7171 能保证效果吗？
不能。它们分别是图像数据集质量评估和大模型推理平台的技术要求，属于通信行业推荐性标准；能帮你核验数据与平台能力，但不能保证你这条产线的准确率、漏检率或投资回报。
没有 AI 质检经验，第一步做什么？
选一个工位做小样本 POC：冻结测试集、双方封样、同时记录漏检和过杀、按班次覆盖光照/批次/磨损，连续跑 30 天再谈验收。不要一开始就整线铺开。