直接答案：不要把演示集当验收集。AI 项目验收要单独建一套“黄金集”：从真实任务抽样、按场景/风险分层、包含负例和安全边界、双人标注/仲裁、冻结版本，再用任务成功、引用正确、拒答/安全、时延、人工接管和单任务成本设上线门槛；模型、提示词或知识库一变就回归。验收不是看一次演示，而是看这套集能否复现。
本文面向企业 AI 项目负责人、产品/业务、数据/标注、QA、采购和供应商管理，讨论 Agent、RAG、AI 客服、文档问答等语言类 AI 项目的验收评测集怎么建。资料截止 2026-10-30。本文是公开标准、治理框架和项目方法整理，不是对任何模型、供应商、产品、准确率或合规性的认证/承诺；具体评测方法、样本量、门槛和合同条款，以业务风险、标准原文、合同和第三方评测/律师意见为准。视觉质检的样本量/置信区间另有专文，本文不重复。
演示集不是验收集；验收集要独立、冻结、可复现。验收不是“准确率一个数”，而是按场景/风险分层的任务成功、引用、安全、时延、接管和成本。黄金集要有 owner、版本、标注指南和仲裁记录，否则只是另一份主观答案。
为什么演示集不能当验收集？
演示集通常来自训练/提示词调优样本，容易过拟合、挑好看案例、缺少负例和安全边界；验收集必须是独立、冻结、可复现的真实任务样本。
供应商演示时，问题往往经过挑选、提示词经过调优、知识库经过清洗，甚至答案由人提前准备。这样的“演示集”不能证明上线后的表现。常见问题包括：样本和训练/调优数据重叠，导致数据泄漏；只挑高频、好回答的问题，缺少长尾、负例、拒答和安全场景；没有固定版本，换一次模型/提示词结果就不可比；没有标注指南和仲裁，所谓“标准答案”只是某个人的判断。验收要解决的不是“能不能演示”，而是“换一批真实任务，结果还能不能稳定复现”。
| 数据集 | 从哪里来 | 用途 | 不能做什么 |
|---|---|---|---|
| 演示集 | 供应商挑选/调优过的案例 | 展示能力、沟通场景 | 不能作为验收结论 |
| 训练/调优集 | 历史任务、合成数据、标注意图 | 训练、提示词/知识库调优 | 不能当独立验收集 |
| 开发验证集 | 开发阶段留出的样本 | 调参、选型、快速迭代 | 不能反复用来“刷分”后仍当验收集 |
| 黄金验收集 | 真实任务分层抽样，独立于训练/调优 | 上线验收、供应商对比 | 不能给供应商训练/调优 |
| 回归集 | 黄金集+历史失败/事故样本 | 模型/提示词/知识库变更后回归 | 不能替代一次性验收 |
数据集分工是编辑方法；具体隔离、留出和版本管理按项目风险、供应商合同和内部制度确认。
黄金集由哪些样本构成？
黄金集要覆盖主场景、长尾/边界、负例、安全/拒答、多语言和人工接管；每条样本有输入、期望、判定标准和风险等级。
黄金集不是“把历史问题导出一批”。它要能代表上线后的真实分布，也要覆盖那些低频但高风险的场景。建议每条样本至少包含：任务/场景、用户输入（含上下文）、期望结果/判定标准、风险等级、来源渠道、标注人/仲裁人、版本号。对 Agent 还要记录可用工具、权限、预期调用路径和禁止动作；对 RAG 要记录应引用的文档/段落和“不知道”的边界。
| 样本类型 | 例子 | 判定重点 | 建议占比 |
|---|---|---|---|
| 主场景/高频 | 报价、产品参数、售后、订单状态 | 任务成功、事实正确、格式 | 40–50% |
| 长尾/边界 | 多条件、歧义、缺参数、跨文档 | 澄清、拒答、引用 | 20–25% |
| 负例/不应回答 | 无依据、越权、超范围、过期信息 | 不编造、正确拒答/升级 | 10–15% |
| 安全/合规 | 隐私、权限、敏感操作、提示注入 | 不泄露、不越权、可审计 | 10–15% |
| 多语言/渠道 | 英文、方言、邮件/聊天/表单 | 语言一致、渠道适配 | 5–10% |
| 人工接管 | 低置信、投诉、复杂谈判 | 及时升级、上下文完整 | 5–10% |
占比是编辑示例，不是标准；应按业务分布、风险和历史事故调整，并在报告中写明假设。
分层抽样和样本量怎么定？
先按场景/风险/渠道分层，再定每层最低样本；高风险场景全量关键案例+统计抽样，不能用一个“30 条”或“100 条”包打天下。
“样本量”没有万能数字。低频高风险场景（越权、隐私、安全）不能因为占比小就少测；高频低风险场景可以用统计抽样估计总体表现。建议先列 8–12 个主场景，再按风险分三层：高风险关键项（全量覆盖关键案例+随机抽样）、中风险核心项（每场景 30–50 条示例）、低风险长尾（按分布抽样）。下面是示例假设，不是标准；实际数量要按方差、风险、预算和可接受的置信区间调整。
| 层级 | 抽样方法 | 示例样本量 | 说明 |
|---|---|---|---|
| 高风险关键项 | 关键案例全量+随机补充 | 关键案例 100% + 每类 50–100 条 | 安全/权限/隐私/金额/合同 |
| 中风险核心项 | 按场景分层随机 | 每场景 30–50 条，总计 300–500 条 | 报价/参数/售后/订单 |
| 低风险长尾 | 按渠道/语言/意图抽样 | 每层 30 条起 | 方言、邮件、多语言 |
| 负例/拒答 | 按失败类型分层 | 每类 30–50 条 | 无依据/越权/过期/歧义 |
| 回归集 | 历史失败+事故+黄金集子集 | 覆盖所有已修复缺陷 | 每次变更必跑 |
样本量是示例假设，不是行业标准或统计保证；高价值/高风险项目应让数据/统计/QA 参与设计，并在报告中标注置信区间和局限。
标注、仲裁和版本怎么管理？
标注指南、双人复核、分歧仲裁、版本冻结和访问权限要一起做；没有仲裁记录的“标准答案”只是另一个人的主观判断。
黄金集的质量取决于标注过程，而不是标注数量。先写标注指南：什么算任务成功、什么算引用正确、什么情况下应拒答/升级、哪些表述算泄露/越权、多语言怎么判。然后至少双人标注/复核，分歧进入仲裁；仲裁结论回写指南，形成版本。黄金集要冻结版本、限制访问，供应商只能拿到脱敏测试接口或受控样本，不能把验收集拿去训练/调优。
| 环节 | 做法 | 证据 | 负责人 |
|---|---|---|---|
| 标注指南 | 任务成功/引用/拒答/安全/格式定义，含正反例 | 指南版本、培训记录 | 产品/QA |
| 双人标注 | 至少两人独立标注/复核 | 标注记录、一致性统计 | 数据/业务 |
| 分歧仲裁 | 第三人/专家裁决，回写指南 | 仲裁记录、修订记录 | 业务 owner |
| 版本冻结 | 样本、指南、模型/提示词/知识库版本绑定 | 版本号、变更日志 | QA |
| 访问控制 | 验收集不进入训练/调优；供应商受控访问 | 权限清单、访问日志 | 数据/安全 |
| 留出/轮换 | 保留独立 holdout，定期补充新样本 | 留出集清单、轮换记录 | QA/数据 |
标注流程是编辑建议；具体一致性指标、仲裁层级和访问控制按项目风险、数据敏感度和合同确认。
指标和上线门槛怎么定？
别只看准确率；任务成功、引用正确、拒答/安全、格式、时延、人工接管和单任务成本要分场景设门槛，并写清失败处理。
语言类 AI 项目的“准确率”很容易掩盖问题：答案看起来对但引用错、该拒答却编造、格式对但越权、任务成功但人工接管率很高、时延太长导致客户不用。建议每个场景选 3–5 个主指标，再设“硬门槛”（安全/权限/引用）和“软门槛”（时延/成本/体验）。门槛要在验收前写进合同/验收方案，不能等结果出来再解释。
| 指标 | 定义 | 适用 | 门槛示例 |
|---|---|---|---|
| 任务成功率 | 在定义范围内完成用户任务 | 客服/报价/查询 | 低风险≥90%，高风险按场景定 |
| 引用/依据正确 | 答案有可核验来源且引用段落正确 | RAG/文档问答 | 关键项 100% 可追溯 |
| 拒答/安全 | 无依据/越权/敏感请求正确拒答或升级 | 所有场景 | 安全关键项 100% 通过 |
| 格式/工具调用 | 结构化输出、工具参数、权限边界正确 | Agent/自动化 | 关键工具 100% 正确 |
| 时延 | P50/P95 响应时间 | 在线客服/销售 | 按渠道体验设上限 |
| 人工接管率 | 需要人工接手/纠正的比例 | 客服/销售 | 按场景设上限并看原因 |
| 单任务成本 | 模型/工具/人工/运维/成功任务 | 规模化上线 | 与人工基线/预算比 |
门槛示例是编辑假设，不是标准；实际门槛按业务风险、人工基线、客户体验和预算确定，并写进验收方案。
回归和变更管理怎么做？
模型、提示词、知识库、工具或数据一变就触发回归；用冻结黄金集+回归集+小流量灰度，不通过就回滚。
AI 项目上线后不会“稳定不变”：模型版本会更新，提示词会改，知识库会加文档，工具/权限会调整，业务规则也会变。每次变更都可能让原来的好答案变差。建议把黄金集拆出“回归集”，覆盖历史失败、事故、关键安全和核心场景；变更前跑回归，变更后小流量灰度，异常就回滚，并把新失败样本补进回归集。
| 变更 | 触发 | 回归范围 | 通过标准 |
|---|---|---|---|
| 模型/版本 | 换模型、升级、路由变化 | 黄金集+回归集全量 | 硬门槛不降，核心指标不降 |
| 提示词/策略 | 改角色、格式、拒答策略 | 受影响场景+安全项 | 任务成功/安全/格式达标 |
| 知识库 | 新增/删除文档、切分/索引变化 | 引用/问答/冲突样本 | 引用正确、无过期答案 |
| 工具/权限 | 新增 API、权限/参数变化 | 工具调用+越权样本 | 参数正确、无越权 |
| 业务规则 | 价格/政策/流程变化 | 相关场景+边界 | 新规则覆盖、旧答案清除 |
回归范围是编辑建议；变更管理、灰度比例、回滚时限按系统风险和运维能力确定。
供应商合同和验收交付怎么签？
合同要写黄金集归属、测试访问、不可训练、复现实验、缺陷修复、验收门槛和退出移交；否则验收只能看演示。
AI 项目的验收争议，往往不是“效果好不好”，而是“按什么集、什么版本、什么门槛、谁来复现”。合同要把评测集和验收方法写清楚：黄金集归谁、供应商能否访问、是否承诺不用于训练、测试环境/接口、结果复现、失败修复、验收不通过怎么处理、退出时数据/日志/配置怎么移交。不要接受“我们内部测过 95%”但没有样本、版本和口径的说法。
| 条款 | 要写什么 | 验收证据 |
|---|---|---|
| 黄金集归属 | 企业所有/共同所有；供应商仅受控使用 | 清单、授权、访问日志 |
| 不可训练 | 验收集不用于训练/调优/提示词优化 | 承诺函、隔离环境、审计权 |
| 测试访问 | 测试接口/环境、脱敏样本、调用限制 | 接口文档、账号/权限记录 |
| 复现实验 | 模型/提示词/知识库版本、参数、随机性设置 | 实验记录、版本清单 |
| 验收门槛 | 硬/软指标、分层结果、失败处理 | 验收方案、签字页 |
| 缺陷修复 | 失败样本修复期限、回归要求 | 缺陷单、回归报告 |
| 退出移交 | 数据/日志/配置/提示词/知识库/账号移交与删除 | 移交清单、删除证明 |
| 第三方评测 | 争议时是否允许第三方复核、费用/保密 | 第三方报告、保密协议 |
合同条款是编辑建议，不替代律师审阅；具体知识产权、数据、验收和退出条款按项目/供应商谈判确认。
90 天怎么建、上线前验收清单
前两周定场景和风险，3–4 周采样本/写标准，5–6 周标注/仲裁，7–8 周跑门槛，9–12 周回归、灰度、上线验收、留档并明确负责人。
如果项目已经进入 POC 后期，建议把“建集”当成独立工作流，不要塞给供应商顺手做。企业要有 owner、标注资源、业务专家和验收签字人；供应商可以提供工具和脱敏样本，但不能既当运动员又当裁判。
| 阶段 | 动作 | 产出 | 负责人 |
|---|---|---|---|
| 0–2 周 | 场景清单、风险分层、数据来源、供应商隔离方案 | 场景/风险表、采样计划 | 产品/业务 |
| 3–4 周 | 真实任务抽样、脱敏、样本字段和判定标准 | 黄金集 v0.1、标注指南 | 数据/业务 |
| 5–6 周 | 双人标注、仲裁、补充负例/安全/长尾 | 黄金集 v1.0、仲裁记录 | QA/业务 |
| 7–8 周 | 跑模型/供应商、算指标、做分层报告 | 评测报告、差距清单 | QA/数据 |
| 9–10 周 | 修复/调优后回归、复现实验、合同门槛核对 | 回归报告、验收结论 | 产品/采购 |
| 11–12 周 | 小流量灰度、监控、回滚预案、下一次评测计划 | 灰度报告、运维交接 | 运维/负责人 |
| 验收项 | 通过标准 | 证据 | 不合格处理 |
|---|---|---|---|
| 独立性 | 验收集未进入训练/调优，供应商受控访问 | 权限/访问日志、承诺函 | 换集/隔离/审计 |
| 覆盖 | 主场景/长尾/负例/安全/多语言/接管齐全 | 分层表、样本清单 | 补样本/重采样 |
| 标注质量 | 双人/仲裁/指南版本齐全 | 标注记录、一致性统计 | 重标/补仲裁 |
| 可复现 | 模型/提示词/知识库/参数版本可复现 | 版本清单、实验记录 | 补记录/重跑 |
| 门槛 | 硬门槛 100%，软门槛达标或书面接受 | 分层报告、签字 | 修复/缩范围/不验收 |
| 回归 | 历史失败/事故样本通过 | 回归报告 | 修复/回滚 |
| 灰度/回滚 | 小流量监控、异常回滚预案可用 | 灰度报告、预案 | 暂停上线 |
| 移交 | 数据/日志/配置/账号/知识库移交 | 移交清单、删除证明 | 补移交/扣款 |
90 天计划和验收清单是编辑建议；具体评测方法、门槛、合同和上线决策按项目风险、标准原文和内部治理确认。
谁该读、谁不适合、能支持什么决策？
适合正在选型/POC/上线 AI Agent、RAG、客服或文档问答的企业；不适合没有业务 owner/标注资源，或想用一场演示代替验收的团队。
该读：企业 AI 项目负责人、产品/业务、数据/标注、QA、采购和供应商管理；正在做 Agent、RAG、AI 客服、文档问答的选型、POC 或上线验收；需要把“效果”写进合同、验收方案和回归流程的团队。 不适合：没有业务 owner、标注资源或真实任务样本的团队；希望用供应商演示/内部测试截图替代验收的项目；把准确率一个数当全部结论、不做安全和人工接管评估的团队。 能支持：建黄金集/回归集、分层抽样、标注仲裁、指标/门槛、供应商合同、90 天计划和上线验收。
常见问题
黄金集要多大才够？
没有统一数字。先按场景/风险分层，再定每层最低样本；高风险安全/权限/金额场景要全量覆盖关键案例+随机补充，高频核心场景每层 30–50 条起，总计常见 300–500 条（示例假设）。最终要看业务分布、方差、可接受置信区间和预算，并在报告中写明局限，不要用一个“30 条”或“100 条”包打天下。
供应商说他们内部测了 95%，能信吗？
先问：测的是哪个集、多少条、什么版本、谁标注、口径是什么、能不能复现。没有样本清单、标注指南、版本记录和原始结果的“95%”不能作为验收结论。建议用企业自己的黄金集/受控测试环境复测，至少覆盖核心场景、负例和安全项。
黄金集能不能给供应商调优？
不建议。验收集一旦进入训练/调优/提示词优化，就会失去独立性。可以给供应商脱敏测试接口或受控样本，但合同要写“不用于训练/调优”，并保留访问日志/审计权；用于调优的应是另一套开发集。
准确率 90% 就能上线吗？
不一定。要看场景和失败代价：低风险问答 90% 可能可接受，但安全/权限/金额/合同场景的关键项必须 100% 通过；还要看引用正确、拒答、格式、时延、人工接管和单任务成本。上线门槛要分场景写进验收方案，不能只看一个总准确率。
模型/提示词更新后还要重测吗？
要。模型、提示词、知识库、工具/权限、业务规则变化都可能改变结果。建议每次变更跑回归集（历史失败/事故+核心场景），高风险变更跑黄金集全量；小流量灰度，异常回滚，并把新失败样本补进回归集。
没有标注团队，能不能让供应商标注？
可以让供应商提供工具/初标，但企业要有业务专家复核/仲裁和最终签字，否则“标准答案”会变成供应商的标准。至少要有标注指南、双人复核/抽查、分歧仲裁和版本记录；关键安全/权限样本建议由企业自己标注。
一句话总结
AI 项目验收评测集不是演示集：用真实任务分层抽样，建独立、冻结、可复现的黄金集，覆盖主场景/长尾/负例/安全/多语言/接管；双人标注+仲裁+版本，按任务成功、引用、安全、格式、时延、接管和成本设门槛，变更必回归，合同写清归属/不可训练/复现/退出。
研究方法与局限
本文为公开标准、治理框架和编辑方法整理，不是对任何模型、供应商、产品、准确率、评测集或具体项目的认证、承诺或法律意见。文中没有使用未公开的客户数据、评测集或供应商合同；数据集分工、样本量、标注流程、指标门槛、回归/合同清单和 90 天计划是编辑建议，具体方法、样本量、门槛和合同条款以业务风险、标准原文、第三方评测/律师意见为准。标准/治理框架会更新，以官方最新文本为准。
数据来源与口径
资料截止 2026-10-30；以下为公开官方/一手页面，具体适用范围、版本和条款以原文为准。
- 《人工智能安全治理框架3.0》（全国网络安全标准化技术委员会，2026-09-14）：tc260.org.cn。风险治理/评估框架，用于设计分层风险和验收边界。
- GB/T 45654-2025《网络安全技术 生成式人工智能服务安全基本要求》（2025-11-01 实施）：国家标准全文公开系统。生成式 AI 服务安全要求和评估基线。
- GB/T 45288.1-2025《人工智能 大模型 第1部分：通用要求》（2025-02-28 实施）：国家标准全文公开系统。大模型通用要求，可用于能力/安全/生命周期基线。
- 《国家人工智能产业综合标准化体系建设指南（2024版）》（四部门，2024-07）：gov.cn。AI 标准体系/评测/服务规范的政策背景。