直接答案:约 16–38 小时后复测同一批站点:25 个首页全部返回 200,13 份 sitemap 全部 200 且字节一致;版权年份、最新 lastmod、首页 2026 日期三项都是 0 变化,3 个“sitemap 新、页脚旧”的冲突站点也没变。但 25 个首页里有 14 个响应体哈希变了、4 个长度变了。字段稳定不等于内容没变。
第 22 期是横截面,这期加一条时间轴:同规则、同 UA、同一批 URL,隔一天再解析一次。目的不是判断站点好坏,而是看这些常被当作“更新证据”的字段,在短窗内到底稳不稳定。
方法:同一规则,两次解析
基线:首页缓存 2026-10-31 22:41 至 11-01 07:40,sitemap 原始文件 11-01 20:41–20:46。复测:2026-11-02 12:42–12:47。每站先取 robots.txt,按 LingyiResearchBot 判定后只取首页与 sitemap;每站最多 3 个请求,非 200 重试最多 3 次,全局间隔 5 秒,超时 20 秒,不执行 JS、不登录、不提交表单。两次解析都用 UTF-8 + errors=replace 与同一套正则。
| 层 | 样本 | 窗口 | 比较内容 |
|---|---|---|---|
| 首页 | 25 | 约 28–38 小时 | 版权年份、2026 日期命中、响应体字节数、SHA-256 |
| sitemap | 13 | 约 16 小时 | HTTP 状态、最新 lastmod、SHA-256 |
两层窗口不同:首页基线在 10-31 深夜至 11-01 早晨,sitemap 基线在 11-01 晚上。分母分别是 25 与 13,不能合并成一个“变化率”。
结果:字段 0 变化,内容哈希 14 变化
| 信号 | 基线 | 复测 | 变化 |
|---|---|---|---|
| 版权年份 2026 | 3 | 3 | 0 |
| 版权年份早于 2026 | 12 | 12 | 0 |
| 无版权年份 | 10 | 10 | 0 |
| lastmod 在 2026(13 份中) | 11 | 11 | 0 |
| 首页出现 2026 日期 | 13 | 13 | 0 |
| 冲突:sitemap 新、版权旧 | 3 | 3 | 0 |
| 首页内容哈希不同 | — | — | 14 / 25 |
| 首页响应体长度不同 | — | — | 4 / 25 |
3 个冲突站点仍是 E01、E02、E14;在这 16–38 小时里,没有任何一个把页脚版权改成 2026。sitemap 的 lastmod 最值也没有前进:13 份文件全部与基线字节一致。
14 个哈希变化:动态内容,不是更新证据
E02、E03、E04、E11、E12、E13、E14、E18、E20、E22、E24、E26、E27、E28 的响应体 SHA-256 与基线不同;其中 E14、E24、E26、E28 连长度也变了。常见来源是时间戳、CSRF token、随机推荐位、CDN 注入、A/B 测试或页面上的实时数据。哈希变化只说明“这次拿到的字节不是同一份”,不说明正文更新。
反过来也成立:E01、E06、E08、E09、E16、E17、E19、E23、E25、E29、E30 这 11 个首页字节完全一致,也不等于正文没有变化——可能只是这次没有动态内容。哈希与信号都不能单独证明“更新”或“没更新”。
13 份 sitemap 字节一致:文件稳定,不代表没有新页面
13 份可解析 sitemap 全部返回 200,SHA-256 与基线一致,lastmod 最大值也没动。可能是静态文件没有重建,也可能站点这段时间确实没有发布。字节无法区分这两种解释,这也再次说明 lastmod 只能证明文件这么写。
对验收的启示
- 字段稳定是短窗事实,不是更新证据。 三项信号在一天内可以完全不动,不能据此说站点“没维护”。
- 内容哈希变化也不等于实质更新。 14 个首页哈希变了,但结构信号一个没变;判断正文变化要用结构字段或人工 diff。
- 把窗口写进记录。 首页约 28–38 小时、sitemap 约 16 小时;分母 25 与 13 不能混算。
- 冲突项单独列。 不要用页脚年份覆盖 sitemap 字段,也不要反过来。
- 复测前先看 robots。 本次 18 个 robots 返回 200、7 个 404(absent),均未禁止
LingyiResearchBot。
局限
- 单次基线:基线本身是单次测量,误差会传递。
- 窗口不统一:首页与 sitemap 的基线时间不同,只能分别表述。
- 只测首页与 sitemap:不覆盖内页,也不发现新增页面。
- 字节噪声:动态 token 就能让哈希变,无法区分实质更新。
- 短窗:16–38 小时不能代表日、周、月稳定性。
- 样本非随机:25 家 pilot,不外推行业总体。
数据与复算
匿名数据:equipment-freshness-recheck-24h-2026.csv(25 行:sample_id、robots_status、page_status、前后字节数、page_hash_changed、前后版权年份、前后 lastmod、前后 2026 日期命中)。仓库内为 docs/research/2026-11-freshness-recheck-24h.csv。
比较逻辑:scripts/freshness_compare.py;单元测试 scripts/test_freshness_compare.py(15 项,无网络)。解析规则沿用 scripts/freshness_probe.py(14 项单测)。运行:
python -m unittest scripts.test_freshness_compare
配套:新鲜度信号 pilot(第 22 期横截面)、新鲜度信号检查器(同规则本地工具)、12/24 小时复测(robots / sitemap / 联系页)、更新日期字段 pilot(JSON-LD 与 meta/time 命中)。
数据来源与口径
- 基线:第 4 期首页缓存(2026-10-31 至 11-01)与第 10 期 sitemap 原始文件(2026-11-01)。
- 复测:2026-11-02 12:42–12:47,UA
LingyiResearchBot/1.0,请求间隔 5 秒,超时 20 秒。 - 解析:UTF-8 +
errors=replace;版权、日期、lastmod 规则与第 22 期一致。