直接答案:对同批 URL 做 7–12 小时复测:robots 判定 0 个稳定翻转(1 个站点单次返回 404,随后 4 次复测均 200,按瞬时不可用处理);sitemap 状态、结构、字节 0 变化(24 份文件连 lastmod 都没动);联系页状态与结构 0 变化,但 20 页里有 9 页字节变化。这是短窗复测,不能说明长期稳定。
这是 C 轨第一次真正跑“同 URL 复测”。目的不是判断站点好坏,而是验证:同一 UA、同一规则下,能否逐项比对、能否区分“真的变了”和“看起来变了”。结论是——必须加一步重试,否则一个瞬时 404 就会被写成“政策翻转”。
方法与窗口
基线来自前几期的公开数据:robots(2026-10-31 至 11-01)、sitemap(11-01 20:41–20:46)、联系页(11-01 18:41–18:47)。复测在 2026-11-02 03:40 前后执行,同一 sample_id、同一 UA LingyiResearchBot/1.0、同样规则;每站最多 3 个请求,间隔 6 秒。
| 层 | 复测数 | 窗口 | 比较内容 |
|---|---|---|---|
| robots | 25 | 约 12 小时 | 五个 bot 的 allowed / disallowed / absent |
| sitemap | 24 | 约 7 小时 | HTTP 状态、根元素、URL 数、字节 SHA-256 |
| 联系页 | 20 | 约 9 小时 | HTTP 状态、H1 数、表单数、字节 SHA-256 |
结果:稳定项、瞬时项与字节项
| 层 | 状态变化 | 结构变化 | 字节变化 | 说明 |
|---|---|---|---|---|
| robots | 0 稳定 | 0 判定翻转 | — | 1 个瞬时 404,复测后恢复,不计翻转 |
| sitemap | 0 | 0 | 0 | 24 份文件字节完全一致 |
| 联系页 | 0 | 0 | 9 / 20 | H1 与表单数未变,仅响应体字节变化 |
瞬时 404:复测最容易犯的错
复测中有一个站点的 /robots.txt 返回 404,按规则会被记为 absent,五个 bot 从 allowed 变成 absent——看起来像一次“政策撤销”。但紧接着连续 4 次请求都返回 200,响应体 2,696 字节且一致。
把它写成“翻转”会制造一个不存在的变化。因此本期把这种情况单独记为瞬时不可用,不计入翻转,并保留原始判定供复核。复测流程必须包含:非 200 先重试(间隔几秒、至少 3 次),仍失败才记为变化。
sitemap 0 变化:静态文件,不代表站点没更新
24 份 sitemap 在约 7 小时内字节完全一致,连 lastmod 都没变。这说明它们是静态文件,没有定时重建;也可能站点在这 7 小时内确实没有新增页面。两种解释都无法从字节判断——这也提醒:sitemap 的 lastmod 只能证明“文件这么写”,不能证明“内容真的在那天更新”。
联系页 9 个字节变化,结构 0 变化
20 个联系页中 9 个响应体哈希变了,但 H1 数与表单数一个没变。常见原因是时间戳、CSRF token、随机推荐位、CDN 注入或 A/B 测试。对验收的启示:字节哈希适合判断“版本是否同一份”,不适合判断“内容是否实质变化”;后者要靠结构字段或人工比对。
五条可执行结论
- 先重试,再宣布变化。 非 200 / 非预期响应至少重试 3 次;单次失败记为“瞬时”。
- 状态、结构、字节分开记。 三者变化含义不同,合并成一个“有变化”会误导。
- 字节变化不等于内容变化。 动态 token 就能让哈希变;结构字段更稳定。
- 短窗不是稳定性结论。 7–12 小时只能验证流程;日/周/月窗口才谈稳定。
- 把窗口写进记录。 没有窗口的“复测”无法比较,也无法解释差异。
局限
- 窗口短:6–12 小时,不能代表日/周/月稳定性。
- 单次基线:基线本身也是单次测量,基线误差会传递。
- 字节噪声:动态内容会让哈希变化,无法区分实质更新。
- 只测既定 URL:不发现新增页面、新 sitemap 或改版后的新路径。
- 样本非随机:25/24/20 家,属 pilot,不外推行业。
数据与复算
匿名数据:equipment-recheck-12h-2026.csv(25 行,逐 sample 的 robots/sitemap/contact 变化标记,含 robots_transient)。仓库内为 docs/research/2026-11-recheck-12h.csv。
差异判定:scripts/recheck_compare.py;单元测试 scripts/test_recheck_compare.py(10 项,无网络)。运行:
python -m unittest scripts.test_recheck_compare
配套阅读:30 家 robots 扫描(基线)、24 家 sitemap 扫描(基线)、询盘路径 pilot(基线)。
数据来源与口径
- robots 判定:RFC 9309:rfc-editor.org。
- 基线数据:前几期公开 CSV(
2026-11-equipment-robots-scan.csv、2026-11-sitemap-scan.csv、2026-11-contact-path-pilot.csv)。 - 复测时间:2026-11-02 03:40(Asia/Shanghai),UA
LingyiResearchBot/1.0,请求间隔 6 秒。