前言
标题里的「精准」二字需要先打个折扣。网页正文提取（content extraction）从原理上就是启发式的，不可能 100% 准确。原因很简单：HTML 只是排版语言，它没有字段告诉机器「这段是正文、那段是广告」。一个div可以是文章主体，也可以是侧边栏的推荐位，语法上完全一样。所有号称「精准」的方案，本质都是靠一组特征去猜，猜得比其他方案准而已。
理解了这一点，后面的技术选择就顺了：我们要的不是一个「绝对正确」的算法，而是一个特征抓得准、阈值可调、失败时能降级的启发式流程。
本文讲三类主流特征——语义标签、文本长度、链接密度——以及怎么把它们组合成一个可调参的提取器。需要说明：本机没有 Python 解释器，示例代码为逐行推演，未经运行。「以官方文档为准」的地方会明确标注。
另外提一句版本：Python 2.7 已于 2020 年 1 月 1 日停止维护。Python 2 里str是字节串、unicode才是文本，抓回来的 HTML 在老代码里常是字节串，字符相关的判断（比如标点计数）会完全不一样。本文一律按 Python 3 写：str就是文本。
一、正文提取为什么必然不完美
先给一个反例，感受一下问题有多难。假设页面结构是：
<div id="main">
<div class="article-body">
<p>第一段正文……</p>
<p>第二段正文……</p>
</div>
<div class="comment">
<p>用户评论一……</p>
<p>用户评论二……</p>
</div>
</div>如果只按「文本长度最大的块」，评论多的时候，评论区的文本长度会超过正文；如果只按语义标签，老站点根本没有article标签。没有单一特征能通吃，这就是为什么成熟的提取库（如可读性算法一类）都采用多特征加权。
因此本文的目标定成：用一个打分函数把候选节点排序，取分最高的当正文，并允许调参。分数给得对不对，决定了这套流程在实际站点上的表现。
二、候选块从哪来
提取的第一步不是选正文，而是生成候选块。常见做法是遍历所有块级元素，把它们当作候选。
# 适用于 Python 3.8+
BLOCK_TAGS = {"article", "section", "div", "main", "td", "body"}
def collect_candidates(root):
"""收集块级元素作为候选正文容器。"""
out = []
# iter() 递归遍历整棵树，tag 为字符串的是普通元素
for el in root.iter():
if not isinstance(el.tag, str):
continue # 跳过注释、处理指令等
if el.tag in BLOCK_TAGS:
out.append(el)
return out这里用的是标准库xml.etree.ElementTree的接口习惯（iter()、tag）。若换成lxml.etree，iter()同样可用。先收集所有候选，再统一打分，比边遍历边判断要好调，也方便事后打印分数排查问题。
三、四类特征与打分
3.1 特征一：语义标签
现代站点常给正文容器加语义标签或约定俗成的 id / class。命中就是强信号：
| 特征 | 信号强度 | 说明 |
|---|
article标签 | 强 | HTML5 语义标签，直接表达「独立成篇的内容」 |
main标签 | 中 | 表达「页面主体」，但可能包含正文之外的区块 |
id / class 含content、article、post | 中 | 命名约定，不同站点写法不一 |
id / class 含nav、sidebar、comment、footer | 负 | 命中的候选直接扣分 |
语义信号的好处是准，坏处是覆盖率低——老站点可能一个都不命中。所以它只能当加分项，不能当唯一判据。
3.2 特征二：文本长度与标点密度
正文的典型特征：文本多，而且标点密。导航链接虽然也占地方，但通常没有句号、逗号、问号。可以用标点数量做一个粗略的语言性判断：
# 适用于 Python 3.8+
import re
PUNCT = re.compile(r"[，。！？；：、,.!?;:]")
def punctuation_score(text):
"""标点越多，越像自然语言正文；纯链接列表的标点极少。"""
return len(PUNCT.findall(text))findall返回匹配到的所有子串组成的列表，取len即为标点个数。这个特征对中文尤其有效，因为中文正文的标点密度很高。
3.3 特征三：链接密度（关键）
链接密度 = 块内链接文本长度 / 块内总文本长度。正文里链接很少，导航栏和列表页几乎全是链接。这条特征往往是区分正文与导航的决定性因素。
# 适用于 Python 3.8+
def link_density(el):
"""计算元素内的链接密度，取值 0.0 ~ 1.0。"""
total = text_length(el)
if total == 0:
return 0.0
link_len = sum(text_length(a) for a in el.iter("a"))
return link_len / total
def text_length(el):
"""该元素及其后代的可见文本总长度（粗略：把后代文本接起来）。"""
return len("".join(el.itertext()))itertext()会按文档顺序产出该元素下所有文本节点的内容，把它拼接起来就是元素的纯文本。注意这是粗略的可见文本——它会把script、style里的内容也算进去，生产代码需要先剔除。
3.4 特征四：段落数量
正文由多个段落组成。统计块内p标签的数量，是个简单但有效的正信号：
# 适用于 Python 3.8+
def paragraph_score(el):
return sum(1 for _ in el.iter("p"))四、加权打分与选择
把上面的特征加权求和，取最高分。权重是需要按站点调的经验值，不存在普适的最优解：
# 适用于 Python 3.8+
NEGATIVE_HINTS = ("nav", "sidebar", "comment", "footer", "ad-", "banner")
POSITIVE_HINTS = ("content", "article", "post", "main", "detail")
def score(el):
text = "".join(el.itertext())
s = 0.0
s += punctuation_score(text) * 1.0 # 标点越多越像正文
s += paragraph_score(el) * 25.0 # 段落是强正信号
s -= link_density(el) * len(text) * 1.5 # 链接密度折算成扣分
ident = " ".join(filter(None, [el.get("id", ""), el.get("class", "")])).lower()
if any(h in ident for h in NEGATIVE_HINTS):
s -= 1000.0 # 命中负面关键词，重扣
if any(h in ident for h in POSITIVE_HINTS):
s += 200.0
return s
def extract_main(root):
candidates = collect_candidates(root)
if not candidates:
return None
return max(candidates, key=score)el.get("id", "")取属性，第二个参数是默认值（属性不存在时返回它）。max(..., key=score)按分数取最大的候选。注意：这个打分里的权重（1.0、25.0、1.5）是示意值，不是经过实测标定的数字。真实项目里应当拿一批页面人工标注，再回归调参，而不是照抄。
一个额外的健壮性设计：如果最高分明显低于一个阈值，说明整页可能都不是文章（比如是列表页），此时应当返回「提取失败」而不是硬返回一个错的块：
# 适用于 Python 3.8+
def extract_main_or_none(root, min_score=100.0):
best = extract_main(root)
if best is None or score(best) < min_score:
return None
return best降级路径是正文提取系统的必备品：宁可报告「没提到正文」，也不要输出一段看起来像正文的导航。下游如果拿到垃圾还以为是正文，错误会一路传下去。
常见坑点
- 以为存在 100% 精准的算法
❌ 「找一个库，调一次参数，所有站点都能提到正文。」
✅ 承认这是启发式问题：为不同站点准备不同的权重配置，并保留人工兜底。
- 只按文本长度选最大块
❌max(candidates, key=lambda e: len("".join(e.itertext())))—— 评论、相关阅读多时必然选错。
✅ 用「长度 + 标点 + 链接密度 + 段落」的组合分，长度只占一项。
- 忘了把导航和评论区扣分
❌ 只加正分，侧边栏因为堆了很多文字反而胜出。
✅ 让 id / class 命中负面关键词的候选直接重扣，把导航排除在竞争之外。
- 用链接密度时没排除空文本
❌link_len / total在total == 0时抛ZeroDivisionError。
✅ 先判断total == 0返回0.0。
- 把
script和style的文本也算进长度
❌itertext()会把内联脚本代码计入，导致含大量 JS 的块被误判为正文。
✅ 计算前先删除script/style子树。
- 提取失败时硬返回一个块
❌return max(...)无条件执行，列表页也照样返回一个div。
✅ 设最低分阈值，低于阈值返回None，让上层知道「这次没提出来」。
- 忽略字符编码导致正文乱码
❌ 用错误的编码解析响应，正文里全是问号或方块，标点检测随之失效。
✅ 按响应头声明的编码解析，缺失时再探测；解析层编码错了，后面所有特征都不准。
总结
| 特征 | 作用 | 局限 |
|---|
语义标签（article/main） | 命中即强信号 | 老站点覆盖率低 |
| 标点密度 | 判断「像不像自然语言」 | 对短句、列表文案不敏感 |
| 链接密度 | 区分正文与导航的利器 | 正文内链接多时会误伤 |
| 段落数量 | 简单有效的正信号 | 长段落单段正文会吃亏 |
| 负面关键词 | 排除导航、评论、广告 | 依赖命名约定 |
正文提取的正确心态是「工程」而不是「定理」。先承认它必然不完美，然后用多特征打分把准确率抬到一个可接受的水平，再用最低分阈值给自己留一条失败的退路。把这三件事做好，比追求一个不存在的「完美算法」实在得多。
