直接答案:15 家有可分析首页的常州装备企业里,按“首页静态 HTML 第一个产品链接”找到 13 个产品入口页;另 2 家未能识别(P04 链接回首页/项目页、P14 首页是 JS 壳)。13 页里 6 页没有 H1、6 页 H1 唯一、1 页有 3 个 H1;只有 1 页保留 JSON-LD(P09),而首页有 JSON-LD 的 3 家中 2 家在产品页丢失。表格 2 页、询盘表单 4 页;正文 559–15,338 字符(中位 5,568),HTML 7.9–232.4 KB(中位 93.8)。
更关键的是:P09 虽然有 JSON-LD,但产品路径对 GPTBot、OAI-SearchBot、PerplexityBot、Bytespider、ClaudeBot 全部 disallowed。结构再好,爬虫读不到也没有用。
方法:从首页取第一个产品入口
母框为 2024 年苏锡常首台(套)名单中的 30 家常州企业;子框为其中有可分析首页的前 15 家(按名单顺序)。每家取首页静态 HTML 中第一个 href 或链接文本含 product/产品/chanpin/prolist 的内部链接;没有则记 no_product_link,不猜 URL。先按 RFC 9309 最长匹配核对产品路径的 robots 规则;每页 1 次 GET,站间 ≥5 秒,20 秒超时,不执行 JS、不登录、不提交表单。
| 项 | 判定 | 边界 |
|---|---|---|
| 产品入口 | 首页第一个含 product/产品/chanpin/prolist 的内部链接 | 不保证是最重要产品 |
| H1 | 页面内 h1 标签数量 | 不判断文字质量 |
| JSON-LD | 任一合法 JSON-LD 块 | 只记有无与类型数 |
| 询盘表单 | 页面内 form,含留言/询价信号 | 不提交、不验证后端 |
| robots | 5 个 AI bot 的路径规则 | 记录采集时状态 |
结果:H1 缺失、JSON-LD 断层、正文偏薄
| 指标 | 结果(13 页) |
|---|---|
| H1 = 0 / = 1 / = 3 | 6 / 6 / 1 |
| 有 JSON-LD | 1(P09) |
| 有表格 | 2 页(P06 6 张、P15 1 张) |
| 有询盘表单 | 4 页(P02、P08、P13、P15) |
| 有 FAQ 信号 | 1 页 |
| mailto / tel 链接 | 5 / 8 页 |
| meta description / viewport | 12 / 12 页 |
| hreflang | 0 页 |
| 正文最小 / 中位 / 最大 | 559 / 5,568 / 15,338 字符 |
| HTML 最小 / 中位 / 最大 | 7.9 / 93.8 / 232.4 KB |
| TTFB 中位 | 303 ms |
13 页里 3 页正文少于 2,000 字符(P01 559、P09 1,088、P12 1,163),4 页少于 3,000;同时 P06 有 15,338 字符、6 张表。产品入口页既可能是“列表薄页”,也可能是“详情厚页”,不能混为一个类型。
逐页结果(匿名 P01–P15)
| 页 | 结果 | H1 | JSON-LD | 表 | 询盘 | 正文 | HTML KB | AI bot 允许/拒绝 |
|---|---|---|---|---|---|---|---|---|
| P01 | 200 | 0 | 0 | 0 | 0 | 559 | 7.9 | 5/0 |
| P02 | 200 | 0 | 0 | 0 | 1 | 10,040 | 232.4 | 5/0 |
| P03 | 200 | 0 | 0 | 0 | 0 | 5,692 | 159.3 | 5/0 |
| P04 | 无产品链接 | — | — | — | — | — | — | — |
| P05 | 200 | 1 | 0 | 0 | 0 | 5,683 | 158.0 | 5/0 |
| P06 | 200 | 1 | 0 | 6 | 0 | 15,338 | 100.7 | 0/0(robots 404) |
| P07 | 200 | 0 | 0 | 0 | 0 | 4,218 | 93.8 | 5/0 |
| P08 | 200 | 3 | 0 | 0 | 1 | 5,568 | 29.5 | 5/0 |
| P09 | 200 | 0 | 1 | 0 | 0 | 1,088 | 41.1 | 0/5 |
| P10 | 200 | 1 | 0 | 0 | 0 | 2,030 | 14.8 | 0/0(robots 404) |
| P11 | 200 | 1 | 0 | 0 | 0 | 5,485 | 94.9 | 5/0 |
| P12 | 200 | 0 | 0 | 0 | 0 | 1,163 | 13.4 | 0/0(robots 404) |
| P13 | 200 | 1 | 0 | 0 | 1 | 12,060 | 170.4 | 5/0 |
| P14 | 无产品链接 | — | — | — | — | — | — | — |
| P15 | 200 | 1 | 0 | 1 | 1 | 5,746 | 40.2 | 5/0 |
首页的结论不能直接带到产品页
H1 计数与首页不同的有 3/13(P02 从 1 变 0、P08 从 10 变 3、P13 从 2 变 1)。首页有 JSON-LD 的 3 家是 P07、P09、P11;产品页只剩 P09,P07 与 P11 在产品页丢失了结构化数据。首页有唯一 H1 不代表产品页也有;首页有 JSON-LD 也不代表产品路径有。
| 对照项 | 结果 |
|---|---|
| H1 计数与首页不同 | 3/13(P02、P08、P13) |
| 首页有 JSON-LD | 3 页(P07、P09、P11) |
| 产品页仍有 JSON-LD | 1 页(P09) |
| 产品页丢失 JSON-LD | 2 页(P07、P11) |
| 产品路径对 5 个 AI bot 全拒绝 | 1 页(P09) |
P09:有结构,但爬虫被拒绝
P09 是唯一保留 JSON-LD 的产品页,但它的 robots.txt 对 GPTBot、OAI-SearchBot、PerplexityBot、Bytespider、ClaudeBot 全部 disallowed。这是“政策优先于结构”的例子:即使页面有 CollectionPage/BreadcrumbList/WebSite 等标记,五个 AI 爬虫也被明确拒绝。验收时不能只看页面有没有 JSON-LD,还要看产品路径的 robots 规则。
两家未能识别产品入口
P04 的第一个产品链接回到首页/项目页,P14 的首页是 JS 壳,静态 HTML 里没有产品链接。两家都记 no_product_link,不推断“没有产品页”。这本身也是 AI 可读性问题:静态层没有可跟随的产品入口,爬虫无法从首页进入产品内容。
对验收的启示
- 产品页单独验收。 首页的 H1、JSON-LD、正文厚度不能代表产品入口页。
- 先补唯一 H1。 6/13 页没有 H1、1 页有 3 个;产品页应有一个能概括产品/品类的 H1。
- 把 JSON-LD 带到产品页。 至少 Product/Offer、BreadcrumbList;首页有而产品页没有是常见断层。
- 产品页要有询盘入口。 只有 4/13 有表单;其余可补表单、电话、邮箱或企业微信。
- 核对产品路径的 robots。 P09 有 JSON-LD 但 5 个 AI bot 全被拒绝;政策问题优先于结构优化。
- 薄页要补内容。 3 页少于 2,000 字符;产品入口页至少要有规格、适用场景、交付/服务信息。
局限
- 13 页 pilot:15 家中 2 家无产品链接;不是 30 家全样本,不外推行业。
- 第一个产品入口:不保证是最重要产品;PDF 产品册、JS 菜单、图片热区不计。
- 单页/单站:每站只看 1 个产品页,不能代表全站产品页。
- 单时间窗:2026-11-01 采集,未复测;robots 规则可能变化。
- 不执行 JS:JS 壳/动态菜单下的产品链接可能漏检;记
no_product_link,不推断没有产品页。 - 不验证后端:询盘表单只记存在,不提交、不测试送达。
数据与复算
匿名数据:equipment-product-entry-pilot-2026.csv(15 行 × 24 列:结果、robots 状态、HTTP、HTML KB、TTFB、正文、H1、JSON-LD/类型数、表格、FAQ、表单、询盘、mailto/tel、hreflang、meta、viewport、AI bot 允许/拒绝、首页 H1/JSON-LD)。仓库内为 docs/research/2026-11-equipment-product-entry-pilot.csv。
采集:scripts/site_audit_probe.py(页面指标);robots 路径判定使用仓库内 js/robots-matcher.js 的规则(含 scripts/test_robots_matcher.js)。站点与产品 URL 不公开。
配套:30 家装备企业官网 robots 政策扫描、首页语义结构 pilot、首页询盘路径 pilot。
数据来源与口径
- 母框:2024 年苏锡常首台(套)名单,常州市 30 家企业;子框为有可分析首页的前 15 家。
- 产品入口:首页静态 HTML 第一个含 product/产品/chanpin/prolist 的内部链接;无则记 no_product_link。
- 采集:每页 1 次 GET,站间 ≥5 秒,20 秒超时,无 JS/登录/表单提交;robots 按 RFC 9309 最长匹配。
- 统计时间:2026-11-01;站点匿名,不公开产品 URL。
相关:产品入口页图片交付 pilot。