直接答案：不要把“AI 爬虫”当一个开关。先分开搜索爬虫、AI 搜索爬虫和训练爬虫：保住 Google/Bing 搜索，通常要放行 Googlebot；想出现在 ChatGPT/Claude 搜索里，要放行 OAI-SearchBot/Claude-SearchBot；不想内容进训练集，再单独屏蔽 GPTBot、ClaudeBot、Google-Extended。robots.txt 是请求，不是访问控制，也不是授权合同。
本文面向企业官网负责人、SEO/GEO、内容、法务、IT/运维和出海团队，讨论 2026 年官网要不要允许 AI 爬虫、robots.txt 怎么写、放行/屏蔽各自影响什么、怎么验收和留证。资料截止 2026-10-31。本文是公开文档和项目方法整理，不是法律意见；具体著作权、数据权益、合同和平台规则，按企业实际情况和律师意见确认。
搜索、AI 搜索、训练是三件事，别用一个 Disallow 全禁；屏蔽训练爬虫不等于屏蔽搜索，也不等于法律上禁止使用；robots.txt 只对遵守协议的爬虫有效，敏感内容要靠登录、权限和合同。
为什么 2026 年要重新做这个决定？
因为 AI 搜索和模型训练已经分开：Google、OpenAI、Anthropic 都提供独立爬虫或控制项。一个 robots.txt 写错，可能同时丢掉搜索和 AI 搜索可见性。
过去很多企业只关心“百度/Google 能不能收录”，现在同一篇官网内容可能被搜索索引、AI 搜索答案、模型训练三种方式使用。平台把控制项拆开了：Google 用 Googlebot 管搜索、用 Google-Extended 管 Gemini 训练/grounding；OpenAI 用 OAI-SearchBot 管 ChatGPT 搜索、用 GPTBot 管训练；Anthropic 也用 Claude-SearchBot、ClaudeBot、Claude-User 区分用途。结果是：你不能再用一句“禁止 AI 抓取”表达清楚自己的选择，也不能假设“允许搜索=允许训练”。
| 标识/控制项 | 主要用途 | 屏蔽/限制的影响 | 官方口径 |
|---|---|---|---|
| Googlebot | Google 搜索、Discover、图片/新闻等 | 失去 Google 搜索收录与展现 | Google 官方 |
| Google-Extended | 控制内容是否用于 Gemini 训练与 grounding | 不影响 Search 收录/排名；影响 Gemini 使用 | Google 官方 |
| GPTBot | OpenAI 基础模型训练 | 声明内容不用于训练 | OpenAI 官方 |
| OAI-SearchBot | ChatGPT 搜索 | 不出现在搜索答案，仍可能作导航链接 | OpenAI 官方 |
| ChatGPT-User | 用户发起的页面访问 | 用户触发；robots 可能不适用；不用于搜索 | OpenAI 官方 |
| ClaudeBot | Anthropic 模型训练 | 未来内容不进入训练集 | Anthropic 官方 |
| Claude-SearchBot | Claude 搜索索引 | 降低搜索可见性与准确性 | Anthropic 官方 |
| Claude-User | 用户发起的页面访问 | 无法按用户请求抓取；可能降低可见性 | Anthropic 官方 |
用途与影响按各平台公开文档整理；具体行为、IP 范围和更新以Google 爬虫文档、OpenAI 爬虫文档、Anthropic 爬虫说明为准。
三种策略怎么选？
大多数 B2B 官网适合“搜索放行、AI 搜索放行、训练可屏蔽”；内容付费/敏感的企业可全屏蔽 AI 爬虫；品牌内容营销可全放行。选择看目标，不看情绪。
策略没有标准答案，但有清晰的取舍。全放行，AI 搜索和训练都可能使用你的内容，曝光机会最大，但内容被复用/训练的风险也最大；只屏蔽训练，保留搜索和 AI 搜索，适合大多数靠官网获客的制造/服务企业；全屏蔽 AI 爬虫，适合付费报告、内部资料或高度敏感内容，但会牺牲 AI 搜索可见性，而且仍需登录/权限/合同兜底。
| 策略 | robots.txt 思路 | 适合谁 | 代价/风险 |
|---|---|---|---|
| 全放行 | 不单独限制 AI 爬虫；保留 Googlebot | 品牌内容营销、希望最大曝光 | 内容可能被训练/复用；需监测 |
| 搜索+AI 搜索放行，训练屏蔽 | 允许 Googlebot/OAI-SearchBot/Claude-SearchBot；禁止 GPTBot/ClaudeBot/Google-Extended | 大多数 B2B 官网、制造业出海 | AI 搜索仍可能摘要引用；依赖对方遵守 |
| AI 爬虫全屏蔽 | 禁止上述 AI 爬虫；保留搜索爬虫 | 付费/敏感内容、强版权内容 | 失去 AI 搜索可见性；不能替代访问控制 |
| 全部屏蔽 | User-agent: * / Disallow: / | 测试站、内部站、未上线站 | 同时丢掉搜索收录；不要用于正式官网 |
策略表是编辑建议；放行/屏蔽的商业与法律后果，按企业目标、内容类型、合同和律师意见确认。
robots.txt 怎么写，常见误区在哪？
robots.txt 放在根目录、UTF-8、text/plain；按 User-agent 分组写 Allow/Disallow，最长匹配优先。它不是访问控制，也不能防抄袭；5xx 会被当成全站禁止，别把敏感路径写进去。
RFC 9309 把 robots.txt 定义为爬虫“被请求遵守”的规则，并明确“不是访问授权”。文件必须在 `/robots.txt`，UTF-8 编码，媒体类型 text/plain；组由 User-agent 加 Allow/Disallow 组成，最长匹配优先；抓取失败如果是 5xx，爬虫必须假设全站禁止，4xx 则可能允许访问。也就是说，robots.txt 服务器不稳定，可能意外把整站挡掉；把后台/草稿路径写进 robots.txt，反而等于公开目录。
| 写法/做法 | 实际结果 | 建议 |
|---|---|---|
User-agent: * | 所有爬虫全站禁止，包括搜索 | 只用于测试/内部站；正式站不要 |
只写 User-agent: GPTBot | 只影响 GPTBot；不影响 Google-Extended/ClaudeBot | 按平台逐个列，别假设“AI 全禁” |
| 屏蔽 CSS/JS/图片目录 | 搜索/AI 无法正确渲染页面 | 放开渲染所需资源；敏感资源用权限 |
| 把后台/草稿写进 robots.txt | 路径公开，可能被探测 | 用登录、权限、IP 限制 |
| robots.txt 返回 5xx | 按 RFC，爬虫假设全站禁止 | 监控可用性；稳定返回 200 |
Crawl-delay | 不在 RFC 核心；部分爬虫支持，Google 忽略 | 服务端限流/缓存，别只靠它 |
| 用 robots.txt 防抄袭 | 只对遵守协议的爬虫有效 | 合同、版权、访问控制、监测一起做 |
语法、状态码和缓存规则见 RFC 9309；各平台对 Crawl-delay/抓取频率的支持不同，按平台文档确认。
不同内容类型怎么放行？
产品页、技术文档、案例适合放行搜索和 AI 搜索；白皮书可放行搜索、屏蔽训练或留资；价格、后台、客户名单不要靠 robots.txt，靠权限和合同。
“官网”不是一个整体。产品页/应用页需要被搜索和 AI 搜索发现；技术文档、选型指南被引用反而建立信任；客户案例涉及客户授权和脱敏，放行前先确认；白皮书/报告可以公开摘要、留资下载全文；价格、报价、后台、客户名单属于访问控制问题，不应放在公开可抓取页面。按内容类型做矩阵，比“全站一个开关”更可控。
| 内容类型 | 搜索 | AI 搜索/训练建议 | 注意 |
|---|---|---|---|
| 产品/服务页 | 放行 | AI 搜索放行；训练可选 | 参数/宣称真实可核 |
| 技术文档/选型 | 放行 | AI 搜索放行；训练可屏蔽 | 版本/适用型号清楚 |
| 客户案例 | 放行 | 训练可屏蔽 | 客户授权/脱敏 |
| 白皮书/报告 | 摘要放行 | 训练屏蔽或留资 | 别把付费全文公开 |
| 价格/报价 | 按策略 | 不建议公开抓取 | 登录/权限/合同 |
| 后台/草稿/API | 禁止 | 禁止 | 认证与访问控制 |
| 招聘/公司新闻 | 放行 | 放行 | 隐私/候选人信息 |
内容矩阵是编辑建议；具体放行/屏蔽按企业获客目标、版权、客户授权和数据策略确认。
允许抓取等于授权训练吗？
不等于。robots.txt 是爬虫访问偏好，不是版权许可或合同；放行爬虫不当然授予训练/商用权利，屏蔽也不当然构成法律禁止。需要看法律、平台条款和合同。
这是最容易混淆的地方。RFC 9309 明确 robots.txt “不是一种访问授权”；它解决的是“爬虫可不可以来”，不解决“来了之后能不能训练、复制、商用”。反过来，屏蔽 GPTBot/ClaudeBot 也只是向遵守协议的爬虫表达偏好，不能阻止不遵守的抓取，也不能替代著作权、数据权益、商业秘密和合同条款。企业如果内容价值高，应该同时做：robots.txt 表达偏好、服务端访问控制、合同/授权条款、监测取证，必要时咨询律师。
| 问题 | robots.txt 能做什么 | 不能做什么 |
|---|---|---|
| 能不能来抓 | 向遵守协议的爬虫表达 Allow/Disallow | 阻止恶意/不遵守的抓取 |
| 能不能训练 | 用平台训练控制项表达偏好 | 替代著作权许可/合同 |
| 能不能商用 | 无直接作用 | 授予或禁止商用权利 |
| 能不能防泄露 | 无访问控制能力 | 保护后台/客户数据 |
| 能不能维权 | 可作为偏好证据之一 | 单独证明侵权/损失 |
法律边界是编辑判断，不构成法律意见；robots.txt 的定位见 RFC 9309 第 1 节“These rules are not a form of access authorization”。
怎么监测、验证和留证？
看日志里的 IP、UA、路径、状态码和时间；用官方 IP 范围/反向 DNS 验证身份；区分搜索、AI 搜索、训练和伪装爬虫；定期复盘放行/屏蔽是否达到目标。
写完 robots.txt 不等于结束。要在服务器/CDN 日志里看谁在抓、抓了什么、频率多少、是否影响性能；用平台公布的 IP 范围或反向 DNS 验证“真爬虫”，不要只看 User-Agent（可以伪造）。如果发现 AI 爬虫频繁抓取导致负载升高，优先用缓存、限流、CDN 规则，而不是把搜索爬虫一起屏蔽。每季度复盘：搜索收录有没有掉、AI 搜索有没有可见性、训练屏蔽是否被执行、是否有异常抓取。
| 监测项 | 看什么 | 工具/证据 | 异常处理 |
|---|---|---|---|
| 日志字段 | IP、UA、路径、状态码、时间、响应时间 | 服务器/CDN 日志 | 补字段/采样 |
| 身份验证 | 官方 IP 范围、反向 DNS、UA 一致性 | 平台文档/查询 | 伪造则限流 |
| 抓取频率 | 单 IP/单爬虫的请求量、峰值 | 日志统计 | 缓存/限流/CDN |
| 搜索可见性 | 收录、展现、点击 | Search Console/百度资源平台 | 检查是否误屏蔽 |
| AI 搜索 | 是否被引用/提及（只能观察，不承诺） | 人工采样/日志 | 记录，不归因 |
| 策略执行 | robots 版本、变更时间、审批 | 版本记录 | 回滚/复盘 |
监测清单是编辑建议；“被 AI 引用/提及”只能作为观察记录，不能当作排名或流量承诺；日志与个人信息处理按企业隐私政策确认。
上线验收清单
验收看八项：目标与策略、域名清单、robots 语法/状态、分爬虫测试、搜索不受影响、AI 搜索符合预期、监测与验证、审批与复盘；每项要有 owner 和证据。
这份清单可以给市场、SEO/GEO、内容、法务、IT/运维和供应商共用。通过标准不是“写了 robots.txt”，而是策略与业务目标一致、搜索没被误伤、AI 搜索符合预期、敏感内容有访问控制、日志能验证、变更能回滚。
| 检查项 | 通过标准 | 证据 | 不合格处理 |
|---|---|---|---|
| 目标与策略 | 搜索/AI 搜索/训练三类目标写清 | 策略文档/审批 | 重定策略 |
| 域名清单 | 主域/子域/多语言站都覆盖 | 域名清单 | 补 robots/子域 |
| robots 语法/状态 | 根目录、UTF-8、200、规则可解析 | 抓取测试 | 修文件/服务器 |
| 分爬虫测试 | Googlebot/OAI-SearchBot/ClaudeBot 等逐一验证 | UA/IP 测试记录 | 改规则/验证 |
| 搜索不受影响 | Googlebot 未被误禁；收录正常 | Search Console/日志 | 回滚/修正 |
| AI 搜索符合预期 | 要放行的搜索爬虫可访问；不放行的被拒 | 日志/测试 | 调整规则 |
| 监测与验证 | 日志字段、IP 验证、频率告警可用 | 日志/看板 | 补监测 |
| 审批与复盘 | owner、变更记录、季度复盘 | 版本/会议记录 | 补流程 |
验收清单是编辑建议；具体放行/屏蔽、日志、隐私和合同要求按企业制度、平台文档和律师意见确认。
谁该读、谁不适合、能支持什么决策？
适合有官网获客/AI 搜索目标、需要决定放行或屏蔽 AI 爬虫的企业；不适合没有内容策略、把 robots.txt 当安全措施或指望它防抄袭的团队。
该读：企业官网负责人、SEO/GEO、内容、法务、IT/运维和出海团队；正在改版、迁移、做多语言站，或发现 AI 爬虫抓取异常的企业；需要回答“要不要允许 GPTBot/ClaudeBot、Google-Extended 怎么设、ChatGPT 搜索还要不要出现、llms.txt 要不要做”的团队。 不适合：没有明确内容/获客目标、只想“全禁 AI”的项目；把 robots.txt 当访问控制/版权保护/防抄袭工具的团队；希望靠一个文件保证 AI 不训练、不引用、不竞争的项目。 能支持：策略选择、robots.txt 写法、分爬虫测试、内容矩阵、监测验证、上线验收和变更复盘。
凌壹信息是网站建设与企业 AI 项目服务商，不是律所、版权代理或平台官方；本文不替代著作权、数据、合同或平台规则意见。项目按实际情况确认范围，不承诺收录、排名、AI 提及/引用、流量或询盘。
常见问题
屏蔽 GPTBot 会影响 ChatGPT 搜索吗？
GPTBot 用于训练，OAI-SearchBot 用于 ChatGPT 搜索，两个设置独立。只屏蔽 GPTBot，不会自动把网站从 ChatGPT 搜索移除；要让搜索不展示，需要按 OpenAI 文档处理 OAI-SearchBot。反过来，允许 OAI-SearchBot 也不等于允许训练。
Google-Extended 和 Googlebot 有什么区别？
Googlebot 管 Google 搜索抓取与收录；Google-Extended 是独立控制项，管内容是否用于 Gemini 训练和 grounding，不影响 Search 收录或排名。只屏蔽 Google-Extended，不会让网站从 Google 搜索消失。
robots.txt 能强制 AI 公司不训练吗？
不能强制。它只对遵守协议的爬虫有效，表达的是访问偏好，不是版权许可或合同。要降低风险，需要组合使用平台训练控制项、访问控制、合同/授权、监测取证和法律意见；屏蔽也不等于法律上禁止使用。
只写 User-agent: * / Disallow: / 行不行？
这会把所有爬虫全站禁止，包括 Googlebot/Bingbot 等搜索爬虫，正式官网通常不要这么做。它也不能保护后台/敏感数据，因为 robots.txt 是公开文件，路径会被看见；访问控制要靠登录、权限和服务器规则。
llms.txt 是标准吗？要不要做？
llms.txt 是社区提案，不是 IETF/W3C 标准，也不能替代 robots.txt。它提供面向 LLM 的站点目录/摘要，是否被读取取决于平台；可以做，但不要把它当放行/屏蔽开关，也不要指望做了就被 AI 引用。
AI 爬虫抓得太频繁、影响性能怎么办？
先看日志确认身份和频率，再用缓存、CDN、限流、抓取频率规则处理；不要为了挡 AI 爬虫把 Googlebot 一起屏蔽。若确认是冒充爬虫，按安全事件处理；若是正规爬虫，按平台文档调整 robots/频率并观察。
一句话总结
2026 年官网的 AI 爬虫策略要分开看搜索、AI 搜索和训练：Googlebot 保搜索，OAI-SearchBot/Claude-SearchBot 保 AI 搜索，GPTBot/ClaudeBot/Google-Extended 管训练；robots.txt 是请求不是授权，敏感内容靠权限和合同，写完要用日志验证并季度复盘。
研究方法与局限
本文为公开平台文档、RFC 和项目方法整理，不是对任何企业、网站、平台或合同的合规认证/法律意见。文中没有使用未公开的客户日志、合同或流量数据；策略表、内容矩阵和验收清单是编辑建议，具体放行/屏蔽、法律权利、平台行为、日志与隐私要求，按企业实际、平台文档和律师意见确认。
数据来源与口径
资料截止 2026-10-31；以下为公开官方/一手页面，具体行为、范围和版本以原文为准。
- RFC 9309, Robots Exclusion Protocol（2022-09）：rfc-editor.org。robots.txt 语法、最长匹配、404/5xx 处理、缓存，以及“不是访问授权”的定位。
- Google Search Central, List of Google's common crawlers（更新 2026-10-30）：developers.google.com。Googlebot 与 Google-Extended 的分工、影响范围，以及 2027 年初支持 AIPREF 训练偏好信号的说明。
- OpenAI, Overview of OpenAI Crawlers：platform.openai.com。GPTBot、OAI-SearchBot、ChatGPT-User 的用途、robots 行为与相互独立设置。
- Anthropic, Does Anthropic crawl data from the web（更新 2026-04-07）：support.anthropic.com。ClaudeBot/Claude-SearchBot/Claude-User 分工、robots.txt 与 Crawl-delay 支持。
- The /llms.txt file, v2（社区提案，更新 2026-08-10）：llmstxt.org。定位为面向 LLM 的站点目录提案，不是标准，也不替代 robots.txt。