直接答案:在 7 个有 ≥2 个缓存页的站点、共 33 个文章页里,长度 ≥8 字符的可见文字段合计 68,839 字符。其中 24,573 字符(35.7%)在同一个站点的其他页面也出现;按页看,重复占比中位 33.6%(3.6%–72.6%),真正每页独有的文字只有 64.3%。
换句话说:第 89 期说可见文字只占 HTML 的 4.6%,这 4.6% 里还有约三分之一是同站重复的长文字段。重复可能来自导航、页脚、联系方式或模板说明,本期不区分 DOM 位置。
方法:同站跨页精确匹配
复用第 83 期缓存的 36 个文章页(10 站,2026-11-03 抓取)。只纳入有 ≥2 个缓存页的站点:7 站、33 页;E19、E26、E28 各只有 1 页,不参与跨页比较。移除脚本/样式/noscript/注释、去标签并压缩空白后,按 。!?!?;; 切分,只保留长度 ≥8 字符的文字段;同一段在同一页出现多次只算一次。
| 项 | 判定 | 边界 |
|---|---|---|
| 文字段 | 句读之间的可见文字,≥8 字符 | 短词/按钮文字不计 |
| 同站重复 | 同一字符串出现在该站 ≥2 个页面 | 精确匹配,不做模糊/近义 |
| 重复字符 | 该页重复段的字符数 | 同页多次只算一次 |
| 独有字符 | 可见字符 − 重复字符 | 不等于“正文原创度” |
结果:35.7% 重复,按页中位 33.6%
| 口径 | 数值 | 说明 |
|---|---|---|
| 纳入页面 | 33 | 7 个多页站点 |
| 可见文字段字符 | 68,839 | ≥8 字符段合计 |
| 同站重复字符 | 24,573(35.7%) | 在 ≥2 页出现 |
| 独有字符 | 44,266(64.3%) | 只在该页出现 |
| 按页重复中位 | 33.6% | 范围 3.6%–72.6% |
| 按页重复占比 | 页面数 | 占 33 |
|---|---|---|
| 低于 20% | 8 | 24.2% |
| 20%–40% | 10 | 30.3% |
| 40%–60% | 11 | 33.3% |
| 60% 以上 | 4 | 12.1% |
按站点:4.8% 到 51.5%
| 站点 | 页数 | 可见字符 | 重复字符 | 重复占比 |
|---|---|---|---|---|
| E03 | 5 | 16,576 | 8,539 | 51.5% |
| E06 | 5 | 9,727 | 2,965 | 30.5% |
| E09 | 5 | 9,324 | 4,641 | 49.8% |
| E14 | 5 | 10,340 | 1,626 | 15.7% |
| E16 | 3 | 6,205 | 3,123 | 50.3% |
| E22 | 5 | 8,903 | 430 | 4.8% |
| E23 | 5 | 7,764 | 3,249 | 41.8% |
E22 只有 4.8% 的长文字段在同站重复,E14 为 15.7%;E03、E16、E09 都在 50% 左右。站点之间的模板差异比“行业平均值”更有信息量。
文字重复和 SVG 重复不同步
把本期的文字重复与第 91 期的 SVG 字节重复按站点并排:E22 的文字重复只有 4.8%,SVG 字节重复却有 83.6%;E23 的文字重复 41.8%,SVG 字节重复只有 19.7%;E16 的文字重复 50.3%,但没有内联 SVG。两项指标回答的是不同层的重复,不能用一个替代另一个。
| 站点 | 文字重复 | SVG 字节重复(第 91 期) |
|---|---|---|
| E03 | 51.5% | 82.3% |
| E06 | 30.5% | 94.1% |
| E09 | 49.8% | 67.5% |
| E14 | 15.7% | 74.5% |
| E16 | 50.3% | 0.0% |
| E22 | 4.8% | 83.6% |
| E23 | 41.8% | 19.7% |
对验收的启示
- 把“可见文字”再拆成重复与独有。 只报总字数会高估每页的实际信息量;重复占比应单独列。
- 先分 DOM 位置再判断。 本期不区分导航/页脚/正文;验收时应把模板文字与正文分开,再谈内容是否重复。
- 文字和 SVG 分开看。 两项重复不同步;只修 SVG 或只改文字都不会自动解决另一层。
- 精确匹配是保守下限。 近义改写、翻译、轻微改动不会计入重复;实际重复可能更高,但本期不外推。
- 不把重复当抄袭或质量分。 导航、页脚、联系方式本来就会重复;本期只量化“同站跨页相同文字”。
局限
- 含模板文字: 未做正文抽取,导航/页脚/联系方式会拉高重复比例。
- 精确匹配: 不做模糊/近义/翻译匹配;轻微改写不算重复。
- ≥8 字符: 短词与按钮文字不计入分子或分母。
- 站点范围: 只纳入有 ≥2 个缓存页的 7 站 33 页;单页站点不参与。
- 缓存快照: 2026-11-03 抓取,未复测改版。
- pilot: 不外推行业;站点匿名;不公开文字段原文。
数据与复算
匿名数据:equipment-article-visible-text-duplication-2026.csv(33 行 × 7 列:站点、页、可见字符、文字段数、重复字符、重复占比、独有字符)。仓库内为 docs/research/2026-11-article-visible-text-duplication.csv。不公开任何文字段原文。
探测:scripts/article_text_duplication_probe.py;单元测试 scripts/test_article_text_duplication_probe.py(无网络,8 项:分句、短段过滤、脚本/样式排除、同站匹配、同页去重、单页站点排除、字符守恒)。运行:
python -m unittest scripts.test_article_text_duplication_probe
配套:文章页 HTML 体积组成 pilot、文章页内联 SVG 重复度 pilot、文章页正文结构 pilot。
数据来源与口径
- 页面缓存:第 83 期 10 站 36 页(2026-11-03 08:40–08:41);本期纳入其中 7 站 33 页。
- 文字段:去脚本/样式/注释/标签后按句读切分,保留 ≥8 字符;精确匹配。
- 统计时间:2026-11-06,零网络请求。
相关:文章页作者信号 pilot。