直接答案:把前三组公开的匿名数据按 sample_id 合并到 24 个共同站点后:五个 AI 爬虫全部放行 16 个(66.7%)、sitemap 可用 13 个(54.2%)、首页有联系入口 20 个(83.3%)、联系页含可识别询盘表单 9 个(37.5%);三项核心条件(robots 全放行 + sitemap 可用 + 询盘表单)同时满足的只有 4 个(16.7%),三项全不满足的也有 4 个。这是 pilot,不是行业基准。
前一页的 sitemap 扫描用的是 24 家,询盘路径用的是 25 家,robots 扫描最初是 30 家。三个分母不完全一样,直接并排比例会失真。这一页只做一件新事:把三组数据合并到同一批站点,给出一张可复算的交叉矩阵。
方法:只做合并,不新增抓取
本期没有发起任何请求。输入是仓库里已经公开的匿名 CSV:robots 扫描、询盘路径 pilot、sitemap 扫描。以三组数据都有的 sample_id 取交集,得到 24 个站点;逐项生成 6 个布尔标记,输出 2026-11-four-layer-matrix.csv。
| 层 | 判定 | 原始分母 |
|---|---|---|
| robots | GPTBot / OAI-SearchBot / PerplexityBot / Bytespider / ClaudeBot 五者全部 allowed | 30 家 → 25 个可判定 |
| sitemap | HTTP 200 且根元素为 urlset 或 sitemapindex | 24 个可测站点 |
| 联系入口 | 首页静态 HTML 有同源联系/询盘链接 | 25 个可分析首页 |
| 询盘表单 | 联系页含 email/tel/textarea 且有 submit/text 字段 | 20 个成功抓取的联系页 |
| 产品页(补充) | 产品页 H1 恰好为 1;JSON-LD 可选 | 15 个产品入口页,映射 15 个站点 |
合并后统一按 24 站的 yes/no 计算;产品页只覆盖其中 15 站,因此单独标注,不并入三层主口径。原始四篇的方法与定义不变。
结果一:各层通过率
| 层 | 通过 | 占 24 站 |
|---|---|---|
| robots 五 bot 全放行 | 16 | 66.7% |
| robots 五 bot 全屏蔽 | 1 | 4.2% |
| robots 无声明(absent) | 7 | 29.2% |
| sitemap 可用 | 13 | 54.2% |
| 首页有联系入口 | 20 | 83.3% |
| 联系页含询盘表单 | 9 | 37.5% |
| 产品页 H1 = 1(15 站子集) | 6 | 40.0% |
把“联系入口”和“询盘表单”并排看,差得最开:20 个站点有入口,只有 9 个能落成表单。入口是导航问题,表单是页面实现问题;验收时把它们算成一项,会掩盖 11 个“点进去也没有输入框”的站点。
结果二:三层组合
| 组合 | 站点数 | 含义 |
|---|---|---|
| robots 全放行 + sitemap 可用 + 询盘表单 | 4 | 三层同时通过 |
| robots 全放行 + sitemap 可用(不看表单) | 11 | 让 AI 能抓、也有 URL 清单,但表单未必可用 |
| 三项均未通过(含 robots 未全放行) | 4 | 抓取政策、发现、留资三层都没有通过 |
| 有联系入口但无询盘表单 | 11 | 能点进去,静态层没有可识别表单 |
| sitemap 不可用但有联系入口 | 9 | 发现层缺失,留资入口仍在 |
| robots 无声明(absent) | 7 | 其中 1 个仍有可用 sitemap,6 个没有 |
| robots 全屏蔽但 sitemap 可用 | 1 | 政策上挡住五个 bot,文件却还在公开 |
“全屏蔽但 sitemap 可用”这一例值得单独看:它说明两个层由不同的人、不同的时间配置,彼此不校验。类似地,9 个站点 sitemap 不可用、但联系入口正常——站点的“能用”与“可被发现”并不是同一件事。
结果三:产品页子集
15 个产品页映射到 15 个站点,其中 H1 恰好为 1 的有 6 个,带 JSON-LD 的只有 1 个。把这 15 站放进三层口径后,三层都过的只有 3 个(E02、E06、E11 对应的站点),其中产品页 H1 恰好为 1 的只有 1 个。也就是说,在“抓取、发现、留资”都过关的站点里,产品页的标题结构仍可能不达标。
这里不做因果推断:产品页样本只有 15 个,且是每站取第一个产品链接,不是随机页面。
五个结论
- 分母先对齐,再谈比例。 30、25、24、15 四个分母混用会放大或缩小差距;本页统一到 24 站。
- 入口 ≠ 表单。 20 个有入口,9 个有可识别表单;验收应拆成两个判定。
- robots 与 sitemap 不同步。 1 个站点全屏蔽却仍公开 sitemap;7 个 absent 里 6 个也没有可用 sitemap。
- 三层全过是少数。 4/24 同时满足抓取、发现、留资;三层全无也是 4/24。
- 产品页是独立一层。 三层都过的站点里,产品页 H1 仍可能不是 1;不要用首页结果推断产品页。
这页不能回答什么
- 不代表行业:单一名单、单一城市、按名单顺序抽取,24 站只是 pilot。
- 不代表效果:没有关联流量、排名、AI 引用或询盘转化;通过与否只描述静态状态。
- 不覆盖全站:每站只测首页、第一个联系入口、第一个 sitemap、第一个产品链接。
- 不判断动机:absent、屏蔽、404 都可能是遗漏、迁移或策略选择,本文不做归因。
- 快照单一:数据来自 2026-11-01 的不同时段,站点状态可能已变。
数据与复算
交叉矩阵:equipment-four-layer-matrix-2026.csv(24 行、7 字段:sample_id + 6 个标记)。仓库内为 docs/research/2026-11-four-layer-matrix.csv。按 sample_id 与三组原始数据可以逐个重算上面的计数。
- robots 政策:30 家装备企业官网的 AI 爬虫政策扫描 · 匿名 CSV
- sitemap 链路:24 家中 13 份可用 · 匿名 CSV
- 询盘路径:25 个首页、20 个联系页 · 匿名 CSV
- 产品入口页:15 个产品页 pilot · 匿名 CSV
数据来源与口径
- 三组原始数据的方法与判定规则见各篇;本页只做按 sample_id 的合并与计数。
- robots 判定依据:RFC 9309:rfc-editor.org。
- sitemap 判定依据:sitemaps.org 协议:sitemaps.org。
- 合并时间:2026-11-01;数据快照分别来自当天 15:00–21:00 的不同抓取时段。