简介：面向自然语言处理开发者与研究者，这份基于Python的BertSum实现围绕BERT微调完成抽取式摘要任务，覆盖从文本预处理、预训练模型加载、任务层构建到训练评估与后处理的完整流程。压缩包共36个文件，以20个py脚本为主，承担数据处理、模型定义和训练评估等核心功能；另有7个txt文件对应数据划分映射，5个gitignore与2个json辅助环境配置和样本组织，README与license便于查阅项目说明，整体约14.99MB。项目中可清晰看到bert_data、raw_data、src等模块划分，便于对照论文复现实验；通过Transformers库加载预训练BERT、在顶部接入编码器-解码器结构，并使用ROUGE指标评价生成摘要质量，是理解深度文本摘要技术路线的合适实践样本。已有1523人学习浏览，适合具备一定Python与深度学习基础、希望将BERT落地到摘要生成任务的读者。
1. 用Python微调BERT做提取式摘要：论文代码到底在跑什么
如果你在学校或者公司接过这样一个任务——把一篇长文档压成三到五句话的摘要——第一次搜到“Python-微调BERT用于提取摘要的论文代码”时，大概率以为装个BERT模型就能直接输出摘要。真动手才发现，BERT是一个语言模型，不是摘要生成器，它不会像人一样读完文章后“写”一段话，而是先判断哪些句子值得保留，再原样抽出来拼成摘要。这个把“抽句子”当作分类任务来微调BERT的思路，就是提取式摘要（Extractive Summarization）论文代码的核心。它能解决的问题很具体：新闻稿、论文、裁判文书这种长文本，手工写摘要成本太高，用微调后的BERT自动挑出关键句，准确率能做到接近人工标注水平。这篇笔记适合正在复现论文、做毕业设计，或者想用最小代价把摘要功能做进内部系统的人。我会按“任务建模 → 环境跑通 → 数据构造 → 训练调参 → 踩坑记录 → 验证进阶”的顺序，把整个方案讲透。
2. 提取式摘要的建模思路：BERT在这里不是生成器，是句子打分器
2.1 提取式摘要为什么比生成式摘要更适合BERT微调
提取式摘要的本质是“从原文里选句子”，而不是“重新组织语言”。这个定位决定了模型结构可以非常朴素：把文档切成长度不等的句子，逐句判断“这句要不要进摘要”，是一个典型的二分类问题。BERT作为预训练语言模型，本身具备很强的语义表示能力——CLS向量经过微调后，能捕捉句子在整篇文档语境下的重要程度。相比之下，生成式摘要需要模型理解全文后逐词生成新句子，对算力和数据量的要求高一个量级，还要处理重复、幻觉等问题，在普通单卡环境下很难跑通。很多论文代码选择提取式路线，不是因为生成式效果差，而是因为提取式的训练目标和评估指标（ROUGE）都存在“确定的最优解”，复现性更好。
我见过不少第一次接触这套代码的人，上来就想找“BERT生成摘要”的现成脚本，结果发现HuggingFace仓库里全是分类模型权重，根本没有摘要专用权重。原因在于BERT原生就不具备从左到右生成文本的注意力掩码结构，强行用生成式架构还得改模型头、换训练策略，等于把简单问题复杂化了。正确做法是把任务拆成：句子切分 → 句子编码 → 二分类打分 → 按分排序截断。这四步里，只有“句子编码”和“二分类打分”是BERT负责的，其他两步用Python标准库就能做。
2.2 论文代码中常见的三种模型结构：哪种最适合自己复现
看过多篇论文配套代码后会发现，提取式摘要的模型结构大致分三类。第一类是Sentence-level分类器，最简单，把每个句子独立送到BERT里做二分类，句子之间互不影响，适合数据量小、硬件资源有限的场景。第二类是Document-level编码器，把整篇文档所有句子的CLS向量拼起来，再接一个BiLSTM或Transformer层，让句子之间能“互相看见”。这种结构效果更好，但训练时间翻倍，显存占用也明显上升。第三类是Token-level指针网络，把摘要任务建模成“从原文中按顺序选定句子”，解码时用指针指向某一个句子的起点和终点，这是很多论文主打SOTA的结构，但实现复杂度高，新手不建议从这类代码入手。
我的建议是：如果只是想把“微调BERT做提取摘要”这件事跑通，优先选择第一类。理由有四点：一是改造空间大，后面想要效果提升可以随时在句子编码层加注意力；二是训练数据构造简单，只需标0/1标签；三是单卡RTX 3090（24GB显存）就能训练；四是排错容易，分模块逐步验证。论文代码里通常把这三类结构分别放在model.py的不同类里，复现时先看README要求的数据格式和评估指标，再决定保留哪个类、删掉哪个类。以下默认按第一类结构展开，这也是90%入门复现代码的落点。
2.3 数据从哪来：LCSTS与CNN/DailyMail的标签结构差异
做提取式摘要微调，数据质量直接决定效果。中文场景最常用的论文数据集是LCSTS（大连理工发布的短文本摘要数据集），每条样本包含原始文本和参考摘要，但注意它没有现成的“句子级标签”。要做二分类微调，得先把参考摘要和原文句子做对齐：用编辑距离或ROUGE-1匹配，把每个句子和摘要的相似度算出来，超过阈值的句子标为1，否则标为0。英文场景则常用CNN/DailyMail，它自带每篇文章的人工摘要，标注方式类似。两个数据集最大的差异在于文本长度：LCSTS每条原文平均100-200字，切句后大约5-10句；CNN/DailyMail平均800字以上，切句后经常超过30句，直接导致序列长度和显存策略完全不同。
这里必须提醒一个细节：LCSTS的短文本摘要很多是“关键词组合”，而不是完整句子，做对齐时会出现大量句子匹配分数低于阈值的情况，最终训练集正负样本比例失衡。我见过有人直接拿LCSTS的摘要原文当标签去和原文句子算ROUGE，由于摘要本身是短语拼出来的，匹配阈值设0.5会导致正样本只有个位数。常见的解法是降低阈值到0.3，同时把“包含摘要中出现名词短语”的句子也标为正样本；极端情况下还需要人工修正几十条训练数据。这个预处理步骤在论文代码里通常单独存放在preprocess.py，跑通之后第一件事就是打印训练集的正负样本比例，低于1:5就要调整标签生成策略。
3. 把论文代码跑起来的准备动作：环境、权重与第一个最小样例
3.1 环境与依赖安装：CUDA版本陷阱和Python版本选择
不论论文代码是PyTorch还是TensorFlow写的，现在主流提取式摘要复现基本都转向PyTorch + HuggingFace Transformers。安装环境的顺序比很多人想象的要严格：先装CUDA驱动和cuDNN，再装PyTorch，最后装Transformers和Datasets。反过来的话，PyTorch经常会从pip源拉到一个CPU版本，训练时才发现跑的不是GPU。用nvidia-smi查看驱动支持的最高CUDA版本，然后去PyTorch官网选对应cu版本安装，例如CUDA 12.1对应pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121。Python版本我建议3.9或3.10，Transformers库在新版本上兼容性最好，3.8以下会出现datasets库的map函数类型注解报错。
装好依赖后，验证环境的代码很短，但必须做两件事：确认CUDA可用、确认Transformers加载BERT权重不报错。权重下载是第一个容易踩坑的地方——bert-base-chinese和bert-base-uncased两个权重各约400MB，HuggingFace官网在国内访问不稳定。论文代码里通常用from_pretrained直接下载，如果你发现卡在进度条一动不动，需要设置环境变量HF_ENDPOINT=https://hf-mirror.com再用一次。需要说明的是，这个操作仅解决HuggingFace模型权重下载问题，不涉及任何网络代理方案。
3.2 加载BERT权重与Tokenizer的最小可运行代码
下面这段代码是论文代码里最基础的启动片段，完成“加载模型+分词+推理”三步验证。它不会训练任何东西，只是确认模型和分词器能协同工作。
# 导入依赖 from transformers import BertTokenizer, BertForSequenceClassification # 加载BERT分类模型，num_labels=2表示二分类（句子进/不进摘要） tokenizer = BertTokenizer.from_pretrained("bert-base-chinese") model = BertForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=2) # 对“这句话要不要进摘要”做推理 sentence = "这是第一篇输入到BERT里的测试句子。" inputs = tokenizer(sentence, return_tensors="pt", truncation=True, max_length=128) outputs = model(**inputs) predictions = outputs.logits.argmax(dim=-1).item() print("预测标签：", predictions) # 0表示不进摘要，1表示进摘要这段代码有三个关键点需要理解。第一，BertForSequenceClassification在句子开头自动添加[CLS]标记，这个位置的最终隐状态会接一个线性分类层，输出的logits就是两个类别的得分，取argmax得到标签。第二，max_length=128对中文短文本够用，但对CNN/DailyMail这种长句子可能要调到256，这个值直接决定显存消耗。第三，第一次运行from_pretrained会看到「Downloading」进度条，这说明权重正在下载并缓存到~/.cache/huggingface目录；第二次运行会直接命中缓存，不再联网下载。
3.3 论文代码的目录结构与数据入口定位
拿到一份真实的论文代码压缩包，通常会有train.py、model.py、data_loader.py、utils.py和config.py这几个文件。不要急着运行train.py，先把config.py打开，找到data_path、model_name、batch_size、max_length、num_epochs这些字段。这一步能省很多时间，因为论文代码的默认参数往往是为原作者的GPU准备的，直接跑大概率OOM（显存不足）。
接着打开data_loader.py，确认它读的是原始文档文件还是已经处理好的特征文件。很多论文代码为了节省重复预处理时间，会把分词结果、标签向量提前存成.npy或.pt文件，data_loader.py只负责加载。如果你改动了预处理逻辑，必须删除这些缓存文件，否则训练时用的还是旧数据。最常见的翻车是：改了标签生成阈值，但没有删缓存，训练了一晚上才发现模型学到的还是旧标签分布。最小样例验证到这一步就够了，下面进入真正的数据处理和训练环节。
4. 构造训练样本与微调参数：BERT提取摘要的训练脚本拆解
4.1 句子切分与标签对齐：先写一个可用的数据预处理脚本
要让BERT学会“抽句子”，第一步是把文档切句。中文切句比英文麻烦，英文按句号切基本准确，中文的句号、问号、感叹号都会出现在句子末尾，还需处理引号和括号的跨句情况。论文代码里最常用的方案是用re.split()按标点切分，再按长度过滤过短的片段。下面展示一个经过实际验证的预处理脚本，它输出的是BERT可以直接消费的数据集文件。
import re import json from tqdm import tqdm def split_sentences(text): """按中文标点切句子，并过滤掉空串和过短片段""" parts = re.split(r'(?<=[。！？!?])', text) sentences = [] for part in parts: part = part.strip() if len(part) < 5: # 过滤掉标点残留 continue sentences.append(part) return sentences def build_training_data(src_path, ref_path, out_path, threshold=0.3): """把原文和参考摘要对齐，生成句子级标签""" with open(src_path, "r", encoding="utf-8") as f_src, \ open(ref_path, "r", encoding="utf-8") as f_ref, \ open(out_path, "w", encoding="utf-8") as f_out: for src_line, ref_line in tqdm(zip(f_src, f_ref)): sentences = split_sentences(src_line.strip()) ref_text = ref_line.strip() for sent in sentences: # 用简单的字符重叠率计算句子与摘要的相似度 overlap = len(set(sent) & set(ref_text)) / max(len(set(ref_text)), 1) label = 1 if overlap >= threshold else 0 record = {"sentence": sent, "label": label} f_out.write(json.dumps(record, ensure_ascii=False) + "\n") # 使用示例 build_training_data("data/src.txt", "data/ref.txt", "data/train.jsonl", threshold=0.3)这个脚本里有三个参数值得推敲。第一，threshold=0.3是字符重叠率的阈值，它决定多少句子被标为正样本。LCSTS数据集实测用0.3能产生大约8%-12%的正样本，低于0.2会产生大量低质量正样本（噪声），高于0.4则正样本过少，模型会学成“全预测0”。第二，len(part) < 5的过滤条件很关键，直接去掉标点残留和短词碎片，否则模型会看到大量“的”“了”这种无意义“句子”。第三，输出用JSONL格式而非CSV，原因是句子中包含逗号时CSV会出现列错位，JSONL天然规避了转义问题，且后续用datasets.load_dataset读取更顺滑。
4.2 训练循环与关键参数：从HuggingFace Trainer到原生PyTorch
数据准备好之后，训练环节有两种做法。论文代码里最常见的是用Transformers库的Trainer封装，因为它自动处理了梯度累积、学习率调度、评估循环和断点保存。对大模型微调实战来说，Trainer是快速验证效果的首选。下面这段代码是我经常用的训练启动脚本骨架，改三个参数就能跑通大多数论文的基线模型。
from transformers import BertForSequenceClassification, Trainer, TrainingArguments from datasets import load_dataset # 读取上一步生成的JSONL文件 dataset = load_dataset("json", data_files="data/train.jsonl", split="train") dataset = dataset.train_test_split(test_size=0.1, seed=42) # 定义分词函数 def tokenize_function(examples): return tokenizer( examples["sentence"], truncation=True, max_length=128, # 根据文本长度调整，长文档可以设256 padding="max_length", ) tokenized_dataset = dataset.map(tokenize_function, batched=True) # 训练参数 training_args = TrainingArguments( output_dir="./checkpoints", evaluation_strategy="epoch", save_strategy="epoch", learning_rate=2e-5, # BERT微调的标准初始学习率 per_device_train_batch_size=16, # 24GB显存可设32，8GB显存建议8 per_device_eval_batch_size=32, num_train_epochs=3, weight_decay=0.01, load_best_model_at_end=True, logging_dir="./logs", ) # 初始化模型 model = BertForSequenceClassification.from_pretrained( "bert-base-chinese", num_labels=2 ) trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_dataset["train"], eval_dataset=tokenized_dataset["test"], ) trainer.train()这里有几个参数会影响训练能否收敛。learning_rate=2e-5是BERT微调的经典起点，调大可能出现loss震荡，调小则收敛过慢；per_device_train_batch_size受显存限制，在8GB显存环境下要降到8，同时观察单步耗时——如果单步超过0.5秒，说明batch需要继续缩小；num_train_epochs=3对大多数提取式摘要数据够了，跑更多轮次容易过拟合，表现是训练集准确率接近100%、验证集ROUGE不再提升。还有一个容易忽略的参数是weight_decay=0.01，它防止非bias和LayerNorm参数出现极端权重，不加这个参数时验证集loss通常会高0.1-0.2个点。
4.3 序列长度与句级编码：长文档的截断策略决定上限
BERT的max_length限制是512个token，而CNN/DailyMail的文章经常超过这个长度。论文代码里常见的处理策略有三种：第一种是硬截断，只取前512 token，简单但会丢掉文档后段的关键句；第二种是分块编码，把长文档切成多段，每段分别过BERT再池化，效果最好但训练成本翻倍；第三种是滑窗重叠，相邻窗口重叠50个token，能缓解关键句刚好被切在两块之间的问题。做工程落地时，我一般优先试“按句编号、句子级滑窗”的方案：把所有句子的CLS向量拼成一个序列，超过长度时保留开头和结尾的句子，因为论文摘要的关键信息通常分布在首尾。
如果训练时发现显存不够，除了减小batch，另一个有效做法是冻结BERT底层。在模型初始化后，把前几层的参数requires_grad设为False，只训练高层和分类头。这样显存占用下降约30%，效果只损失1-2个ROUGE点。对论文复现来说，多跑几个基线模型对比效果比追求单个模型最高分更重要，所以冻结底层换训练速度通常是划算的。
5. 微调BERT做提取摘要的避坑记录：五个高频翻车点
5.1 数据预处理阶段：正样本为0，模型永远预测“不进摘要”
- 现象：训练几轮后，模型对验证集所有句子的预测都是0，ROUGE指标静止为0。
- 原因：标签对齐逻辑有缺陷。最常见的是
threshold设太高，或者参考摘要是短语而非句子，字符重叠率普遍低于阈值，导致正样本占比不足1%。模型看到几乎全是负样本，学到的最优策略就是全预测0。 - 解决：先统计数据集中标签分布，打印正样本条数和比例。正负比至少做到1:10才有训练意义。调低
threshold到0.3以下，同时检查数据清洗逻辑——参考摘要两端如果有换行符或多余空格，会把所有重叠率都拉低。
5.2 分词阶段：中英文混排文本把BERT整懵
- 现象：中文论文摘要里混着英文缩写（如BERT、GPU、ROUGE），Tokenizer把英文拆成了未知词
[UNK]，关键术语直接丢失，模型怎么调都学不好。 - 原因：
bert-base-chinese的分词器是字级分词，英文单词会被切碎，超过词表范围就变成[UNK]。这是中文预训练模型的通病，不是代码问题。 - 解决：预处理时对英文片段做保护替换：将连续英文子串替换成占位符（比如
_ENG_），等模型输出后再映射回原词。如果数据里英文比例很高，直接换用bert-base-multilingual-cased，它对英文支持更好，代价是模型体积更大、推理稍慢。
5.3 训练阶段：Loss下降但验证集ROUGE不涨
- 现象：训练loss从0.7降到0.3，但验证集ROUGE-1只有20左右，和随机抽取差不多。
- 原因：二分类准确率高不等于摘要质量高，因为“是否进摘要”的标签是在数据预处理阶段用启发式规则生成的，本身含噪声。模型可能学会了“句子越长越重要”这种捷径，而不是真正抓住语义重点。
- 解决：先检查训练集里是不是大量长句子被标为正样本。如果是，说明标签生成逻辑有偏。改进方法是用ROUGE-L分数替代字符重叠率，计算句子和参考摘要的最长公共子序列，能更准确地衡量句子级重要性。ROUGE-L的计算直接调
rouge_score库，不要在预处理里自己实现。
5.4 推理阶段：输出的摘要句子数量不可控，有时只有一句，有时贴满全篇
- 现象：对一篇30句的文章做预测，模型只挑出1句；换一篇10句的文章，模型又挑出9句，摘要长度完全不受控。
- 原因：模型是逐句独立打分，没有考虑摘要的总长度约束。论文代码里的测试脚本通常只做了“按分数排序”，没有做“挑出前N句”的长度限制。
- 解决：在推理时设定摘要求句数上限。最稳的方式是按句子的相对位置均匀取样：先按分数排序，再按排名做非极大值抑制，相邻句子的分数如果差距小于0.1，就保留排名靠前的一句。这能避免连续段落被重复选出。实际工程中，我习惯把摘要长度和文档长度挂钩，文档少于10句取3句，10-30句取5句，30句以上取8句。
5.5 显存不足：8GB显卡训练BERT直接OOM
- 现象：
batch_size设为16，运行第一个epoch不到一半就报CUDA out of memory。 - 原因：BERT模型参数量约1.1亿，光是模型权重就占400MB，加上梯度、优化器状态和中间激活值，8GB显存下16的batch确实会超。论文代码的默认参数通常是在24GB以上显存跑出来的。
- 解决：按顺序做三件事——
batch_size降到4，启用梯度累积（gradient_accumulation_steps=4），在模型初始化后冻结前8层BERT参数。三个手段叠加后显存占用能压到5GB以内，训练速度放慢但可以正常跑完。如果还不行，换用bert-base-chinese的4层蒸馏版本distilbert-base-chinese，效果损失大约3-5个ROUGE点，但显存需求直接减半。
6. 进阶验证与部署：ROUGE评估的正确姿势与ONNX推理加速
提取式摘要模型的最终价值体现在效度验证上。论文代码里虽然自带评估脚本，但直接跑的人经常犯一个错误：把训练时的二分类准确率当作模型效果，其实这个指标没有意义。正确的验证方式是用ROUGE-1、ROUGE-2和ROUGE-L三个指标，把模型生成的摘要和人工参考摘要对比。ROUGE-1衡量单字/词重叠，ROUGE-2衡量相邻词对的重叠，ROUGE-L衡量最长公共子序列，三者同时看才能判断摘要的忠实度和信息量。代码实现上用rouge_score库可以一行完成，关键是保存模型输出摘要时要保留原始句子文本，不要把tokenizer解码后的字符串当摘要直接去算ROUGE——解码过程可能会丢掉标点和空格，导致分数异常偏低。
部署环节如果对推理速度有要求，我建议把微调后的模型导出成ONNX格式。BERT分类模型导出后推理速度能提升1.5到2倍，显存占用下降20%。导出的方式是用transformers.onnx包的export函数，指定feature=sequence-classification，结束后用onnxruntime加载并替换from_pretrained的调用。注意ONNX模型对动态轴支持有限，如果推理时句子长度忽长忽短，需要在导出时固定max_length，否则会报维度不匹配。我一般固定为128，长文档分段处理后再汇总，实测在CPU上单条推理也能控制在30毫秒以内。
希望这份从数据预处理到训练调参再到部署验证的完整拆解能帮你把论文代码真正跑起来。如果只记一句话，我的习惯是：拿到任何摘要论文代码，先看数据预处理里的标签生成方式，再决定要不要信它的实验结果——很多模型效果不佳，问题根本不在模型结构，而在数据对齐这一步就已经把信息丢掉了。希望帮到你。
本文还有配套的精品资源，点击获取
