直接答案：2026 年 10 月 31 日至 11 月 1 日，我们扫描了 2024 年苏锡常首台（套）重大装备名单中 30 家常州企业的官网。25 家有可分析首页：其中 17 家对五个 AI 爬虫全部放行，1 家全部屏蔽，7 家没有 robots.txt（记为 absent，不等于明确放行），0 家只屏蔽部分 bot。另有 4 家未能识别独立官网，1 家 robots 返回 502。
这不是行业基准，也不是官网排名。30 家里只有 25 个可分析首页，低于我们设定的 30 个网站子样本门槛，所以只写“扫描”。本文公开样本框、检索规则、抓取口径、引擎变更、匿名数据与局限。所有企业均匿名，不点名、不评价。
“没有 robots.txt”不是“放行”，是“没有声明”。
“全部放行”不等于“会被 AI 引用”。
“全部屏蔽”也不能推断企业不想被搜到，规则可能来自模板或历史配置。
样本框：首台（套）名单里的 30 家常州企业
样本框为 2024 年苏锡常首台（套）重大装备名单：苏州 40 个、无锡 30 个、常州 30 个装备，共 100 个。我们取“地区=常州市”的 30 家企业（名单序号 71–100），整群普查，不随机、不挑选。
名单由常州市工信局、苏州市工信局、无锡市工信局联合认定，公示期 2024-12-16 至 12-22；我们使用公开转载页与附件 xlsx 核对。局限是名单为 2024 年认定，不是 2026 年最新名单；30 家也不能代表常州制造业总体。
方法：先看 robots，再决定是否抓首页
对每家官网先取 robots.txt，按五个 AI 爬虫的 UA 分组判断首页是否允许；再按我方 UA 决定是否抓首页。只抓一次、不执行 JS、不登录、不提交表单；站间至少 5 秒。
官网识别：两轮查询（企业全名 + 官网 / 官方网站 首页），取前 10 条；排除 B2B 目录、工商查询、招聘、社交、新闻、政府与展会平台。两轮无合格结果记“未能识别独立官网”；集团/品牌站可接受并记录。
robots 判定：对 GPTBot、OAI-SearchBot、PerplexityBot、Bytespider、ClaudeBot 分别匹配 User-agent 分组；无匹配组时看 *；首页路径为 /。允许记 allowed，禁止记 disallowed，robots.txt 不存在记 absent，抓取失败记 unknown。absent 与 allowed 分开统计。
方法变更：360 搜索多次对本次 UA 返回零结果（限流），大量样本改用备用搜索集成复核，查询串与排除规则不变，逐样本记录引擎。这是本扫描最大的方法限制之一。
结果一：公司级可得性
| 结果 | 家数 | 口径 |
|---|---|---|
| 有可分析首页 | 25 | 首页 GET 200，静态 HTML 可解析 |
| 未识别独立官网 | 4 | 两轮前 10 条无合格官网；不等于没有官网 |
| robots 不可达 | 1 | robots 返回 502，按保守策略未抓正文 |
| robots 全站阻断 | 0 | 没有“own bot 被全站禁止”的样本 |
公司级计数覆盖 30 家；robots 判定只在 25 个有官网样本上统计。502 是服务端错误，不是策略性拒绝，不能写成“屏蔽 AI”。
结果二：按 bot 的政策分布
25 个首页中，17 家对五个 AI 爬虫全部 allowed，1 家全部 disallowed，7 家没有 robots.txt（absent），0 家部分屏蔽。按 bot 分别计数时，五个 bot 的数字完全一致：allowed 17、disallowed 1、absent 7。
| 爬虫 | allowed | disallowed | absent |
|---|---|---|---|
| GPTBot | 17 | 1 | 7 |
| OAI-SearchBot | 17 | 1 | 7 |
| PerplexityBot | 17 | 1 | 7 |
| Bytespider | 17 | 1 | 7 |
| ClaudeBot | 17 | 1 | 7 |
五个 bot 计数一致，只代表这 25 个站点；不能推断“企业通常把 AI 爬虫当成一类处理”。部分屏蔽为 0 也是本样本的观察。
值得单独说的是那 7 个 absent。它们没有 robots.txt，通行做法视为无限制，但这和“明确写 Allow”是两件事：前者没有表达政策，后者表达了放行。报告把两者分开，是为了避免把“没配置”写成“主动欢迎”。
结果三：首页结构与“静态壳”
25 个首页里，H1=0 有 12 个、H1=1 有 8 个、H1>1 有 5 个；有 JSON-LD 的 5 个，有 hreflang 的 1 个；HTML 小于 20KB 的 3 个，其中包含接近空壳的页面。
| 结构信号（n=25） | 计数 | 说明 |
|---|---|---|
| H1 = 0 | 12 | 静态 HTML 中没有 H1 |
| H1 = 1 | 8 | 唯一 H1 |
| H1 > 1 | 5 | 2 个到 10 个不等 |
| 有 JSON-LD | 5 | 类型与完整性未逐一评级 |
| 有 hreflang | 1 | 本样本唯一 |
| HTML < 20KB | 3 | 其中 1 个仅 1.3KB，title 有、H1=0，疑似 JS 壳 |
H1、JSON-LD 与 hreflang 只按静态 HTML 统计；JS 注入会被漏计。HTML 体积小不等于一定依赖 JS，需结合页面内容判断。
把“没有 H1”直接等同于“SEO 差”不严谨；但在 25 个首页里 H1=0 占 12 个，至少说明语义标题没有成为这批站点的默认做法。对依赖静态解析的工具，这会让“页面主题是什么”更难判断。
这对企业意味着什么
三个可操作判断：
- 先确认你有没有政策。没有 robots.txt 的站点应主动决定：哪些 AI 爬虫要放行、哪些要拒绝、为什么。默认“没配置”会把决定权留给对方。
- 不要只写一个总规则。如果只想允许搜索型 AI、不允许训练型抓取，需要按 bot/用途分别配置；但要注意，规则写得越细，越需要定期复核，避免误挡。
- 放行之后才轮到可读性。H1、JSON-LD、静态正文和询盘路径决定“被允许访问后能不能被读懂”；robots 只是第一道门。
需要自查时，可用同系列的 20 项官网 AI 可读性自测表；上一期 21 家 AI 终端企业 pilot 提供了另一组样本框的对照；SEO 与 GEO 实战指南 则展开抓取、结构与测量。
局限：不要把这 25 个首页当行业结论
- 样本框特定：2024 年苏锡常首台（套）名单中的 30 家常州企业，不是常州制造业总体，也不是全国。
- 官网子样本 25 < 30：不称 benchmark；所有计数只描述这 25 个首页。
- 检索依赖搜索引擎：限流与索引覆盖会影响“未识别官网”的数量；大量样本使用备用引擎。
- 单次、单 UA、单地域：robots 可能按 UA 或 IP 变化；TTFB 只是代理指标，不是 CrUX。
- 只看首页与 robots：没有抓产品页、英文页，也没有测索引、AI 提及、点击或询盘。
- 不推断动机：全屏蔽或 absent 都只记录规则结果，不解释企业意图。
数据与复现
匿名 CSV（30 行，sample_id 为 E01–E30，不含企业名、网址和联系方式）可下载：equipment-website-robots-scan-2026.csv。字段含 result、http_status、H1、JSON-LD、hreflang、询盘表单，以及五个 bot 的 allowed/disallowed/absent。原始 HTML 不公开。
复算：5 个样本用同一解析器对存档 HTML 离线重放，robots 判定与结构字段一致；其余样本保留原始响应与时间戳供内部复核。空值表示“该样本没有可分析首页”，不是 0。
数据来源与口径
- 2024 年苏锡常首台（套）重大装备名单公示（常州市工信局、苏州市工信局、无锡市工信局，2024-12-16）：公示页。
- RFC 9309《Robots Exclusion Protocol》：rfc-editor.org。
- schema.org Organization（结构信号口径参考）：schema.org。