直接答案：AI 质检 POC 没有“通用样本量”。样本要由缺陷发生率、目标召回/精确率、置信水平、产线/班次/换型差异共同决定；罕见缺陷可能要几千到几万件，常见缺陷几百件也可能够，但必须用独立留出集和分类型指标验收。
本文面向制造业质量、生产、IT、采购和 AI 项目负责人，讨论 AI 质检 POC 要多少样本、怎么算置信区间、验收抽样和模型评估怎么区分。资料截止 2026-10-29。本文是统计方法整理，不是统计咨询、检测报告或验收结论；具体样本量需按缺陷率、风险、产线和统计师意见确认。
总体准确率会被样本不平衡掩盖；罕见缺陷的样本量要按“缺陷数”算，不是按“总件数”拍；验收抽样（AQL）和模型召回/精确率不是同一件事。
为什么“99% 准确率”可能是 0 检出？
当不良率很低时，系统把全部产品判为良品也能得到很高的总体准确率，但缺陷检出率为 0；验收必须看混淆矩阵和分类型指标，而不是一个总数。
假设一批 10,000 件产品，真实不良率 1%（100 件不良、9,900 件良品）。如果模型把 10,000 件全部判为良品，总体准确率是 99.0%，但 100 件不良全部漏掉，召回率/检出率是 0，逃逸率是 100%。这就是为什么“99% 准确率”不能直接作为验收结论，尤其是安全件、客诉件和批量报废件。
| 指标 | 计算 | 这个例子 | 说明 |
|---|---|---|---|
| 总体准确率 | (TP+TN) ÷ 总数 | 9,900 ÷ 10,000 = 99.0% | 被大量良品“抬高” |
| 召回率/检出率 | TP ÷ (TP+FN) | 0 ÷ 100 = 0% | 不良品没有被发现 |
| 逃逸率/漏检率 | FN ÷ (TP+FN) | 100 ÷ 100 = 100% | 流入下道的比例 |
| 精确率 | TP ÷ (TP+FP) | 无 TP，无法定义 | 要看误检/过杀 |
| 误检率 | FP ÷ (FP+TN) | 0 ÷ 9,900 = 0% | 但代价是全部漏检 |
TP=真正例，FN=假负例/漏检，FP=假正例/误检，TN=真负例。示例用于说明口径，不代表任何模型效果。
先定义指标：召回、精确率、误检率、逃逸率
验收要同时写召回、精确率、误检/过杀、逃逸、重复性和节拍；只写“准确率”会掩盖样本不平衡和误检成本，无法判断能否上线。
AI 质检的“好”至少有两面：不良品有没有被找出来（召回），良品有没有被误杀（精确率/误检）。只看召回会把产线停爆，只看精确率会漏掉缺陷。质量、生产和供应商要在 POC 前把每个指标的口径、样本来源、阈值和责任人写进验收表。
| 指标 | 定义/口径 | 验收注意 |
|---|---|---|
| 召回率/检出率 | TP ÷ (TP+FN)，按缺陷类型/严重度分别看 | 安全/客诉类可要求更高；不要用总体值替代 |
| 精确率 | TP ÷ (TP+FP) | 与误检/过杀一起看，避免大量复检 |
| 误检率/过杀率 | FP ÷ (FP+TN) | 按良品件数算，换算成复检工时/停线成本 |
| 逃逸率/漏检率 | FN ÷ (TP+FN)，即 1−召回 | 用独立留出集，不用训练/演示样本 |
| 重复性 | 同一工件多次检测结果一致的比例 | 换角度、换班次、重启后复测 |
| 节拍/P95 响应 | 单件检测时间、P95 延迟、每小时产能 | 模型准但节拍跟不上也不能上线 |
| 人工接管率 | 需人工复判/干预的任务 ÷ 总任务 | 过高会把“自动全检”变成“人工加系统” |
指标定义可参考 ISO 3534-1 的统计术语和 NIST/SEMATECH 手册；具体阈值按缺陷严重度、客户要求和误检成本确认。
样本量怎么估？
先按“至少发现一个缺陷”估总件数，再按“召回率估计精度”估缺陷样本数；罕见缺陷需要更多件数，不能只按总产量比例拍一个数。
样本量至少有两个问题：第一，能不能看到足够多的缺陷（否则召回率无法估）；第二，估计的召回/误检有多准（置信区间多宽）。对于低发生率缺陷，“总件数”会非常大；对于常见缺陷，几百件可能就够，但仍要覆盖不同产线、班次、换型和光照。下面两张表是规划假设，不是统计保证；正式方案应让统计师按二项分布/Wilson/Clopper-Pearson 和分层抽样调整。
| 真实缺陷率 | 至少看到 1 个缺陷的规划总件数（95% 置信，近似） | 含义 |
|---|---|---|
| 10% | 约 29 件 | 常见缺陷，仍要覆盖类型/班次 |
| 1% | 约 299 件 | 中等发生率；召回率估计仍需更多缺陷样本 |
| 0.1% | 约 2,995 件 | 罕见缺陷；只靠“总件数”很快变成全检 |
| 0.01% | 约 29,956 件 | 极罕见；需要定向采样/历史缺陷库/合成数据并单独验证 |
“至少看到 1 个缺陷”的近似来自零缺陷样本的 95% 上限（约 3/n）；不是召回率精度，也不保证覆盖所有缺陷类型。
| 目标（假设召回约 90%） | 需要的缺陷样本数（近似） | 如果缺陷率 1%，对应总件数 |
|---|---|---|
| 召回率 ±10%（95% 置信） | 约 35 件缺陷 | 约 3,500 件 |
| 召回率 ±5%（95% 置信） | 约 138 件缺陷 | 约 13,800 件 |
| 召回率 ±3%（95% 置信） | 约 384 件缺陷 | 约 38,400 件 |
近似公式 n ≈ z²p(1−p)/E²（p≈0.9，z≈1.96）；缺陷样本要来自独立留出集，不能把训练样本算进去。误检率估计还需要足够的良品样本。
验收抽样和 AI 模型评估有什么不同？
AQL 验收抽样判断“这批货收不收”，AI 模型评估判断“系统能不能稳定识别缺陷”；前者按批次/属性，后者按独立留出集和分类型指标，不能互相替代。
ISO 2859-1 的验收抽样（AQL）是按属性、按批次判断接收/拒收的工具，适合来料/出货/过程抽检；它不直接告诉你模型的召回率、误检率或换型稳定性。AI 质检 POC 需要的是独立留出集上的模型指标 + 影子运行 + 生产抽检；两者可以组合，但不能拿一张 AQL 表证明模型“99% 准确”。
| 维度 | AQL 验收抽样 | AI 模型评估 |
|---|---|---|
| 对象 | 批次/来料/出货 | 模型/产线/缺陷类型 |
| 单位 | 件/样本，按属性判定 | 工件/图像/任务，按预测与真值 |
| 风险 | 生产方/使用方风险 | 误检/漏检、换型/漂移、人工接管 |
| 数据 | 随机/分层抽样 | 独立留出集、时间/产线/班次切分 |
| 结论 | 接收/拒收批次 | 继续/缩范围/暂停/上线 |
AQL 抽样可参考 ISO 2859-1；模型评估的置信区间可参考 NIST/SEMATECH 手册。两者不是同一套验收。
POC 样本计划怎么排？
按缺陷类型/严重度、产线/班次、光照/角度、换型、操作员和罕见缺陷分层；训练/验证/测试按时间或产线切开，测试集冻结后再验收。
样本不是“越多越好”，而是“覆盖要够、泄漏要防、稀有要补”。POC 前先做缺陷字典和分层计划；POC 中按真实产线跑影子模式；POC 后只用冻结的独立留出集出指标。下面是一份可操作的分层表，具体数量按上一节估算。
| 分层 | 要覆盖什么 | 验收证据 |
|---|---|---|
| 缺陷类型/严重度 | 划伤、脏污、变形、缺件、尺寸/颜色等；安全/客诉类单列 | 缺陷字典、每类样本数 |
| 产线/班次 | 白班/夜班、不同机台、不同操作员 | 分层抽样表、班次记录 |
| 光照/角度 | 开灯/关灯、反光、遮挡、工件姿态 | 图像样本、成像参数 |
| 换型 | 不同型号/颜色/材质/批次 | 换型记录、每型样本 |
| 罕见缺陷 | 历史客诉、报废、返工、试产缺陷 | 历史库、定向采样、合成数据标记 |
| 独立测试集 | 按时间/产线/班次切分，训练不碰测试 | 切分脚本、冻结版本 |
分层建议是编辑整理；样本量、抽样方法和统计功效需按缺陷率、风险和统计师意见确认。
样本不够时怎么决策？
样本不足时，POC 结论应是“不确定”，不是“通过”；可以补罕见缺陷、缩范围或延长影子运行，不能用一个总体准确率强行上线。
很多 POC 失败不是模型不行，而是样本不够却硬下结论。罕见缺陷只出现几件，召回率的置信区间会很宽；这时正确动作是补样本、缩到单一缺陷/单一产线、延长影子运行，或者改用人工/规则兜底。下面矩阵用于 POC 评审，不是统计裁决。
| 决策 | 适用条件 | 下一步 |
|---|---|---|
| 继续 | 缺陷样本足够、分类型指标达标、影子运行稳定、误检成本可接受 | 按合同验收，进入单线推广 |
| 缩范围 | 某类缺陷/某条产线有效，其他类型样本不足或误检高 | 先做单一缺陷/单线，其他继续人工 |
| 补样本 | 指标方向可以，但置信区间太宽/罕见缺陷太少 | 定向采集、历史库、延长影子运行 |
| 暂停 | 数据泄漏、成像不稳、换型不可复现、人工接管过高 | 冻结上线，先修数据和工装 |
| 退出 | 样本长期不足、误检成本高于收益、供应商无法提供独立验证 | 停止项目，保留人工/规则方案 |
决策矩阵是编辑建议；“样本足够”应按缺陷类型/严重度和置信区间判断，不是总件数。
上线前验收清单
上线前核对缺陷字典、样本分层、训练/测试隔离、分类型指标、置信区间、影子运行、误检成本、换型和退出条件；缺一项就不要签字。
这份清单可以直接给质量、生产、IT 和供应商共用。重点是“证据能复算”，不是“演示好看”：样本从哪来、测试集有没有冻结、指标怎么算、置信区间多宽、换型/班次有没有覆盖、误检谁来处理。
| 检查项 | 通过标准 | 证据 |
|---|---|---|
| 缺陷字典 | 类型/严重度/可接受边界冻结 | 字典版本、签字 |
| 样本分层 | 覆盖缺陷、产线、班次、光照、换型 | 分层表、样本清单 |
| 训练/测试隔离 | 按时间/产线/班次切分，测试集冻结 | 切分脚本、哈希/版本 |
| 分类型指标 | 召回、精确率、误检、逃逸、重复性、节拍 | 指标表、计算脚本 |
| 置信区间 | 关键指标有置信区间/样本量说明 | 统计报告 |
| 影子运行 | 2–4 周，覆盖换型/异常班次 | 运行记录、差异闭环 |
| 误检成本 | 复检工时/停线/报废可接受 | 成本表、生产确认 |
| 退出条件 | 漂移/换型/供应商退出有方案 | 合同、运维/重训计划 |
清单是编辑建议，不替代统计/质量/合同审核；样本量和验收阈值按项目确认。
谁该读、谁不适合、能支持什么决策？
适合正在做 AI 质检 POC、验收或扩线的制造企业；不适合没有缺陷字典、没有独立测试集、或想用一张准确率截图验收的团队。
该读：制造业质量/生产/IT/采购、AI 质检项目负责人；正在评估视觉质检、缺陷识别、AOI/复检、来料/出货抽检的团队；需要向老板/客户解释“样本够不够、指标可不可信”的项目负责人。 不适合：没有明确缺陷定义、没有真值/复核流程、只想买一套设备就上线的团队；期待本文给出固定样本量或保证验收通过的团队；需要正式统计咨询/检测报告的项目。 能支持：POC 要多少样本、召回/误检怎么算、置信区间多宽、AQL 和模型指标怎么区分、样本不够时继续/缩范围/暂停/退出、上线前收什么证据。
常见问题
样本量有通用数字吗？
没有。它取决于缺陷率、目标召回/精确率、置信水平、产线/班次/换型差异和误检成本。常见缺陷几百件可能够，罕见缺陷可能要几千到几万件；先按“至少发现一个缺陷”和“召回率精度”分别估算。
99% 准确率为什么不够？
因为总体准确率会被大量良品抬高。若不良率 1%，全部判良也能得到 99% 准确率，但召回率是 0。验收要看混淆矩阵、分类型召回、精确率、误检/逃逸和置信区间。
训练集和测试集要怎么切？
按时间、产线或班次切分，测试集要独立、冻结，不能和训练样本混用；同一工件/同一批次的多张图不要跨训练和测试，否则会泄漏。换型、光照、班次也要覆盖。
AQL 抽样能代替模型验收吗？
不能。AQL 抽样判断批次接收/拒收，模型评估判断系统在独立样本上的召回/误检/稳定性；两者可以组合，但不能拿 AQL 表证明模型准确率，也不能用模型指标代替出货抽检。
罕见缺陷样本太少怎么办？
可以定向采集历史缺陷、延长影子运行、缩到单一缺陷/单线、用合成数据补充但单独验证；如果仍不足，POC 结论应是“不确定”，不要用总体准确率强行上线。安全/客诉类缺陷尤其要谨慎。
误检率多少可以接受？
没有统一值。要把误检换算成复检工时、停线、报废和交付影响，再和漏检风险一起看；不同缺陷严重度、产线节拍和客户要求不同，阈值也不同。
一句话总结
AI 质检 POC 的样本量要按缺陷率、召回/精确率目标、置信区间和分层来算；先看混淆矩阵和分类型指标，再用独立留出集和影子运行验收，样本不够就写“不确定”，不要用 99% 总体准确率代替检出率。
研究方法与局限
本文为公开统计方法、标准术语和编辑整理，不是对任何企业、产线、模型、样本或验收项目的统计咨询、检测报告或质量结论。文中样本量公式和表格是规划近似，未考虑有限总体、分层/聚类、重复测量和多重比较等全部因素；正式方案应由统计/质量专业人员按缺陷率、风险和抽样设计确认。标准/手册会更新，以官方最新文本为准。
数据来源与口径
资料截止 2026-10-29；以下为公开官方/一手页面，具体公式、假设和版本以原文为准。
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4.2 Sample sizes required：itl.nist.gov。比例检验/置信区间所需的样本量公式与假设。
- NIST/SEMATECH e-Handbook of Statistical Methods, 7.2.4.1 Confidence intervals：itl.nist.gov。比例的 Wilson/精确置信区间方法，用于理解召回/误检估计的不确定性。
- ISO 2859-1:2026, Sampling procedures for inspection by attributes — Part 1: Sampling schemes indexed by acceptance quality limit (AQL) for lot-by-lot inspection：iso.org。按属性/批次的验收抽样参考，不等同于 AI 模型评估。
- ISO 3534-1:2006, Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in probability：iso.org。统计术语/符号参考。