简介：这是一份面向本科毕业设计与NLP入门者的文本摘要自动生成实战项目，围绕Transformer的编码器—解码器架构，完成从长文本中提取关键信息并生成精炼摘要的全流程，适合需要一次性打通数据预处理、模型构建、训练与评测的学习者。压缩包共34个文件、约360KB，以18个Python脚本为核心，涵盖模型定义、数据批处理、束搜索解码与训练主流程，辅以5个Shell脚本负责训练、评测与测试任务，另有yaml配置、txt依赖清单、vocab词表及Dockerfile等工程文件，便于直接复现实验。资源已有3834人学习下载。项目覆盖分词、词表构建、序列化输入、损失函数与优化器配置，并采用ROUGE、BLEU衡量摘要的准确性与流畅度，读者可借此掌握TensorFlow或PyTorch下的模型实现与调试思路。
1. 摘要生成的真正难点：不是"会不会说人话"，而是"挑得准、说得全、不重复"
很多人第一次接触文本摘要，直觉反应是"上 Transformer，端到端生成"。可真跑起来会发现一个反直觉的现象：一个只用词频加权加句子打分的抽取式基线，在中文长文档上常常能和参数量百倍于它的生成模型在 ROUGE 上打成平手。原因不复杂——摘要任务的评价口径奖励的是"原文关键词有没有被覆盖"，而不是"句子读起来像不像人写的"。深度学习在这里真正解决的问题是语义对齐与压缩，Transformer 解决的是长距离依赖下的对齐建模，自然语言处理里那套 encoder-decoder 只是承载这两件事的壳。搞懂这三层分工，才能明白为什么一份文本摘要方向的本科毕业设计里，数据截断策略、复制机制、beam search 长度惩罚这三处的取舍，比换一个更大的预训练模型更能决定最终指标。
2. Transformer 编解码骨架：一篇长文档怎么被压成隐状态、再逐词还原
摘要模型的骨架是标准的 encoder-decoder：编码器把长度为 L 的 token 序列变形成一个[L, d]的隐状态矩阵，解码器在每一步拿这堆隐状态，配合已经生成的词，产出下一个词的概率分布。听起来只有两句话，但几乎所有的工程坑都藏在这两件事里——"这堆隐状态具体怎么算出来"和"解码器到底怎么查它们"。把这两步拆开看，后面章节里那些看似玄学的调参，就都能找到对应的物理位置。
2.1 缩放点积注意力：除以 √d_k 究竟在防什么
注意力的直觉是"检索"：Q 表示当前位置想找什么，K 表示每个位置能提供什么，V 是每个位置实际交付的内容。Q 与 K 做点积得到相关性打分，softmax 归一化成权重，再对 V 加权求和。三个矩阵W_q、W_k、W_v都是可学习参数，多头机制只是把这套流程在多个子空间里并行做一遍再拼接。
真正值得琢磨的是那个√d_k。假设 Q、K 的每个维度独立、均值 0 方差 1，那么一次点积的结果方差就是d_k。当d_k取 512 时，打分的标准差大约 22，softmax 会迅速饱和成接近 one-hot 的分布，梯度几乎全部消失，模型学不动。除以√d_k等于把方差拉回 1，让 softmax 待在工作区间里。这一行代码是整个 Transformer 里性价比最高的一个常数。
import math import torch def scaled_dot_product_attention(q, k, v, mask=None): """ q: [B, H, Lq, D] 解码器查询（或编码器自身） k: [B, H, Lk, D] 键 v: [B, H, Lk, D] 值 mask: [B, 1, Lq, Lk] bool，True 表示可见，False 表示屏蔽 """ d_k = q.size(-1) # 缩放：把点积方差从 d_k 拉回 1，避免 softmax 饱和导致梯度消失 scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k) if mask is not None: # 用 dtype 最小值而不是 -inf，避免全屏蔽行在 softmax 后出现 NaN scores = scores.masked_fill(~mask, torch.finfo(scores.dtype).min) attn = torch.softmax(scores, dim=-1) # 最后一维归一化，每行权重和为 1 out = torch.matmul(attn, v) # [B, H, Lq, D] return out, attn这段函数里，mask的语义是"True 可见、False 屏蔽"，和 PyTorch 原生masked_fill的取值习惯相反，写的时候极容易搞反——一旦搞反，训练 loss 会照常下降，因为模型学会了只看 padding 位置，而验证集输出全是重复的高频词。attn被单独返回是有意为之：后面做覆盖损失、画注意力热力图、排查"模型到底在看原文哪一段"，都要用到这个中间量。torch.finfo(dtype).min而非-inf的原因也很实际，当某一整行全部被屏蔽时，-inf参与 softmax 会得到 NaN，而这个 NaN 会顺着反向传播污染整个 batch 的梯度，表现为训练三五个 step 后 loss 突然变成nan。
2.2 位置编码与三类掩码：并行训练要付的账
自注意力本身是置换不变的——打乱输入顺序，输出只是跟着打乱，模型无法区分"我打你"和"你打我"。位置编码就是把这个顺序信息注入进去。常见的做法是正弦编码：偶数维用sin(pos / 10000^(2i/d))，奇数维用cos，好处是不引入额外参数、理论上能外推到训练时没见过的长度；另一种是可学习的位置嵌入，实现更简单，但长度一旦超过训练时的最大长度就直接失效。做中文长文摘要时，训练集里 90% 的样本被截到 512 token，测试时突然来一篇需要 800 token 的文档，可学习位置编码会在 512 之后全崩，这是很多"训练集指标很好、换个数据集就不行"的直接原因。
掩码则是并行化的账单。RNN 靠时间步天然保证"看不到未来"，Transformer 一次性把所有位置喂进去，必须手工把未来位置遮掉，这就是 causal mask（下三角矩阵）。除此之外还有两类：padding mask 用来屏蔽批次补齐产生的<pad>，cross mask 用来屏蔽编码器侧的补齐位置。三类掩码的 shape 和语义各不相同，混用是新手最常见的翻车点。
| 掩码类型 | 作用位置 | 典型 shape | 屏蔽目标 |
|---|---|---|---|
| padding mask | 编码器自注意力、交叉注意力 | [B, 1, 1, Lk] | 源端补齐位 |
| causal mask | 解码器自注意力 | [1, 1, Lq, Lq] | 未来时间步 |
| 组合掩码 | 解码器自注意力 | [B, 1, Lq, Lk] | 未来步 + 目标端补齐位 |
def build_masks(src_ids, tgt_ids, pad_id=0): """构造编码器与解码器各自需要的掩码""" # 源端补齐掩码：[B, 1, 1, Ls]，只屏蔽 <pad> src_mask = (src_ids != pad_id).unsqueeze(1).unsqueeze(2) Lt = tgt_ids.size(1) # 因果掩码：下三角为 True，表示第 i 步只能看到 0..i causal = torch.tril(torch.ones(Lt, Lt, dtype=torch.bool, device=tgt_ids.device)) # 目标端补齐掩码 tgt_pad = (tgt_ids != pad_id).unsqueeze(1).unsqueeze(2) # [B,1,1,Lt] # 解码器自注意力：既要遮未来，又要遮 <pad> dec_self_mask = causal.unsqueeze(0).unsqueeze(0) & tgt_pad # [B,1,Lt,Lt] return src_mask, dec_self_masksrc_mask会被同时用在编码器自注意力和解码器的交叉注意力上，形状之所以能广播成[B, H, Lq, Lk]，靠的是中间那两个长度为 1 的维度。causal.unsqueeze(0).unsqueeze(0)把[Lt, Lt]扩成[1, 1, Lt, Lt]，再与[B, 1, 1, Lt]做逻辑与，广播机制自动把它铺成[B, 1, Lt, Lt]。这段代码看着短，但只要&两边的维度顺序写反，就会变成"屏蔽了所有可见位置、放行了所有该屏蔽的位置"，而模型依然能训下去——只是永远在抄<pad>，解码出的东西全是空串。
2.3 交叉注意力：解码器读原文的唯一通道
解码器里有两种注意力：自注意力负责整合已生成的上下文，交叉注意力负责读原文。交叉注意力的 Q 来自解码器当前层的隐状态，K 和 V 都来自编码器的最终输出。这意味着编码器对原文只编码一次，之后每个解码步都复用同一份 K/V，这也是推理阶段可以做 KV 缓存、把复杂度从平方级压到线性级的前提。
交叉注意力同时也是长文档摘要的信息瓶颈所在。对一个长度 L 的源端，注意力权重是一组和为 1 的分布，模型在生成每个词时只能在这 L 个位置上分配一共 1 的注意力质量。文档越长，单个位置分到的平均权重越低，落在真正关键的那么两三个句子上的信号就越容易被稀释。工程上常见的三段式应对是：先做句子级筛选把输入压到 512 以内，再交给编码器；或者采用稀疏注意力把复杂度降下来；再或者在损失里加覆盖项，逼模型把注意力摊开而不是死盯一句话。这三种思路的取舍，下一章会具体展开。
3. 复制与覆盖：生成式摘要必须学会"抄"，还得记住自己抄过哪
如果用一句话概括生成式摘要和机器翻译的差别，那就是：翻译可以整句重写，摘要不行。摘要的正确输出里往往有大段内容必须逐字保留——机构全称、数字、专业术语、人名。而标准的 encoder-decoder 只有一个固定词表上的 softmax，词表外的词一律输出<unk>。这就逼出了指针生成网络和覆盖机制这两项设计，它们不是什么锦上添花的 trick，而是让生成式摘要能落地的必需品。
3.1 词表外实体：生成式模型的第一道硬墙
假设词表大小 5 万，用 BPE 或 WordPiece 切分之后，中文的 OOV 率通常还能压在千分之几，但剩下的那些恰恰是最要命的部分：某个实验室的全称、某个型号编号、某个刚刚出现的专有名词。模型遇到它们只有两个选择——输出<unk>，或者用语义相近的常见词替换掉。前者让摘要在关键信息上直接失真，后者更隐蔽，读起来通顺但事实是错的，属于典型的"看着像那么回事"。
抽取式方法天生没有这个问题，因为它就是从原文里剪句子，任何词都不会被改写。这也解释了一个现象：纯生成模型在 ROUGE-1 上能赢抽取式基线，但在人工评估的"事实一致性"上经常输。对本科毕业设计这个量级的项目来说，靠增大词表或者换更大的预训练词表只能缓解，根治还得靠复制机制——让模型拥有"从原文直接搬词"这个动作。
3.2 指针生成网络：把 softmax 劈成"生成"和"复制"两支
指针生成网络的核心是一个标量p_gen，取值 0 到 1，表示"这一步该从词表里生成"的概率。它由当前解码隐状态、编码器上下文向量、当前输入词嵌入三者拼接后过一层线性加 sigmoid 得到。最终的词分布是两支的加权和：一支是词表上的 softmax，一支是把注意力权重按源端 token 聚合出来的复制分布。
import torch import torch.nn as nn import torch.nn.functional as F class PointerGenerator(nn.Module): def __init__(self, hidden_dim, vocab_size): super().__init__() # 生成概率门：输入为 [解码隐状态; 上下文向量; 输入词嵌入] self.p_gen = nn.Linear(hidden_dim * 3, 1) self.vocab_proj = nn.Linear(hidden_dim * 2, vocab_size, bias=False) def forward(self, dec_h, ctx, x_emb, attn, src_ids, src_oov_ids, oov_dict): """ dec_h: [B, H] 当前解码隐状态 ctx: [B, H] 注意力加权后的上下文向量 x_emb: [B, H] 上一步输入词的嵌入 attn: [B, Ls] 对源端的注意力分布（已归一化） src_ids: [B, Ls] 源端词表内 id src_oov_ids:[B, Ls] 源端扩展词表 id（OOV 单独编号） """ # 1) 生成门：一个标量，控制"写新词"还是"抄原文" p = torch.sigmoid(self.p_gen(torch.cat([dec_h, ctx, x_emb], dim=-1))) # [B,1] # 2) 生成支：词表上的概率分布 vocab_dist = F.softmax(self.vocab_proj(torch.cat([dec_h, ctx], dim=-1)), dim=-1) # 3) 复制支：把对源端的注意力按 token 累加（同一 token 出现多次要相加） copy_dist = torch.zeros_like(vocab_dist) copy_dist.scatter_add_(1, src_oov_ids, attn) # 4) 融合：注意 copy_dist 用的是扩展词表下标 final_dist = p * vocab_dist + (1 - p) * copy_dist return final_dist, p这段代码里最关键的两个细节，一是scatter_add_而不是scatter_。源端同一个词可能出现多次（比如某个机构名在文首和文末各出现一次），注意力会分别落在两个位置上，复制概率必须累加，用scatter_会互相覆盖，导致这个实体的复制概率被低估。二是copy_dist的下标空间是扩展词表——词表词用原 id，OOV 词在批次内临时分配vocab_size之后的新 id，解码时如果落在 OOV 区间，就要反查回原始字符串。这套"批次内临时扩展词表"的做法实现起来啰嗦，但省掉了全局扩充词表带来的参数量爆炸。
p_gen的取值本身也是很好的诊断信号。正常情况下它应该随解码步数呈现规律：句首、连接词位置偏大（模型在"写"），实体和数字位置偏小（模型在"抄"）。如果训练完发现p_gen全程稳定在 0.98 附近，基本可以判定复制支没起作用，最常见的原因是训练时copy_dist的下标和标签下标没对齐，标签里的 OOV 词在vocab_dist里根本没有对应位置，梯度全跑偏了。
3.3 覆盖损失：治住"同一句话反复说"
Seq2Seq 的另一个顽疾是复读。注意力机制没有记忆，它在第 3 步看过源端第 5 个位置，到第 8 步可能又看一遍，于是解码器把同一句话写两遍。更麻烦的是 beam search 会主动放大这种行为——重复的短语往往概率更高，beam 里几条候选都在复读。
覆盖机制的思路很直接：维护一个覆盖向量c_t，它是历史所有步注意力权重的累加和，记录"源端每个位置已经被看过多少"。然后把当前步的注意力a_t和c_t一起送进损失，惩罚那些已经被看过的位置继续被重复关注。
def coverage_loss(attn_seq, eps=1e-12): """ attn_seq: [B, T, Ls] 每个解码步对源端的注意力分布 返回：覆盖损失（标量），以及最终的覆盖向量 """ coverage = torch.zeros_like(attn_seq[:, 0, :]) # [B, Ls] losses = [] for t in range(attn_seq.size(1)): a_t = attn_seq[:, t, :] # [B, Ls] # 逐位置取 min(a_t, c_{t-1}) 再求和：被重复关注越多，惩罚越大 losses.append(torch.sum(torch.min(a_t, coverage), dim=-1)) coverage = coverage + a_t # 累积覆盖 cov_loss = torch.stack(losses, dim=1).mean() return cov_loss, coveragetorch.min(a_t, coverage)这一步是覆盖损失的精髓。如果某个位置历史注意力已经很高（coverage大），当前步又重点看它（a_t大），min取到的是大值，损失上升，梯度会推着注意力往没看过的地方挪；反过来，如果某位置从没被关注过，coverage接近 0，min也接近 0，不产生惩罚。总损失通常是NLL + λ * cov_loss，λ在 0.5 到 1.0 之间取值，太大模型会为了摊开注意力而写出不连贯的句子，太小则压不住复读。eps参数在有梯度检查或者混合精度训练时用来兜底，避免除以 0 导致的 NaN。
需要提醒的是，覆盖损失只在训练时生效，推理时它不影响解码路径，所以它治的是"模型学到复读不好"，不是"解码时禁止复读"。真正要在推理阶段防复读，还得配合后面提到的重复 n-gram 惩罚。
4. 训练与推理的裂缝：teacher forcing、beam search 与 ROUGE 口径
模型结构定下来之后，剩下的差距几乎全在"训练时看到的世界"和"推理时面对的世界"不一致上。这条裂缝有三个典型断面：训练用真值喂下一步、推理用自己上一步的输出；训练用交叉熵逐词优化、推理用整句概率搜索；人觉得好的摘要和 ROUGE 认为好的摘要不是一回事。三处任何一处没对齐，都会出现"loss 很漂亮、生成很糟糕"。
4.1 exposure bias：训练喂真值，推理喂自己
Teacher forcing 指的是训练第 t 步时，输入的是标注摘要的第 t-1 个词，而不是模型自己上一步的输出。好处是训练可以完全并行，收敛快；坏处是模型从没见过自己犯错的输入。推理时一旦第 3 步选错了一个词，第 4 步开始就进入了一个训练分布里从未出现过的状态，错误会沿时间步滚雪球。
常见的缓解手段有三类。一是 scheduled sampling，训练时按一个随 epoch 衰减的概率，用模型自己的预测替换真值，让模型逐渐适应自己的输出分布，代价是实现复杂、训练变慢。二是 label smoothing，把 one-hot 标签软化，正例给1-ε、其余按均匀分布分摊ε，防止模型对某个词过度自信，ε一般取 0.1。三是直接换训练目标，用强化学习去优化 ROUGE 这类不可导的序列级指标，但这类方法在毕设规模的数据上极不稳定，收敛全靠运气。
对课程设计或毕业设计量级的项目，我一般建议先老老实实上 label smoothing，成本一行代码，收益稳定；scheduled sampling 可以试，但要留出足够的对照实验时间，否则很容易变成一次没有结论的调参。
import torch.nn.functional as F def label_smoothed_nll(logits, targets, pad_id=0, eps=0.1): """ logits: [B, T, V] 未归一化的词表打分 targets: [B, T] 真值 id """ V = logits.size(-1) log_probs = F.log_softmax(logits, dim=-1) # 负例部分：均匀分布分摊 eps nll = -log_probs.gather(2, targets.unsqueeze(-1)).squeeze(-1) # [B, T] smooth = -log_probs.mean(dim=-1) # [B, T] loss = (1 - eps) * nll + eps * smooth # 屏蔽 <pad> 位置，否则补齐位会主导梯度 mask = (targets != pad_id).float() return (loss * mask).sum() / mask.sum().clamp(min=1.0)这里的mask不能省。中文摘要的标注长度参差不齐，一个 batch 里短样本可能被补齐到几十个<pad>，如果不清零，这些位置的损失会占总损失的大头，模型学到的第一件事就是"多输出<pad>"。eps的取值也有讲究：0.1 是常用起点，任务越依赖精确措辞（比如带数字的财务摘要），eps应该越小，因为过度平滑会削弱模型对稀有实体的置信度。
4.2 beam search 的长度惩罚：为什么模型偏爱短句
贪心解码每步取概率最大的词，简单但短视——当前最优不等于整句最优。beam search 保留 k 条候选路径，每步扩展后按累计对数概率排序保留前 k 条，k一般取 3 到 5。问题在于，累计对数概率是负数累加，序列越长分数越低，模型天然偏爱短句，k越大这种偏置越明显，因为搜索空间大了，总能找到更短的"高分"路径。
标准解法是长度归一化，用累计对数概率除以length^α，α通常取 0.6 到 1.0。α=0退化成不惩罚，α=1是完全平均，过大则模型为了凑分拼命写长。另外还要加重复 n-gram 惩罚：对已经出现过的三元组，在下一步打分里直接减去一个惩罚项，强制打破复读循环。
def beam_search_decode(model, src, beam_size=4, max_len=64, alpha=0.7, ngram_block=3, eos_id=2): """带长度归一化与重复 n-gram 抑制的 beam search（单样本示意）""" beams = [([eos_id], 0.0)] # (已生成序列, 累计对数概率) finished = [] for _ in range(max_len): candidates = [] for seq, score in beams: if seq[-1] == eos_id: finished.append((seq, score)) continue logp = model.decode_step(src, seq) # [V] 已取 log_softmax # 重复 n-gram 惩罚：已出现过的 n-gram 下次出现直接压分 for ngram in extract_ngrams(seq, ngram_block): logp[ngram_next(ngram)] -= 5.0 topk_logp, topk_idx = logp.topk(beam_size) for lp, idx in zip(topk_logp.tolist(), topk_idx.tolist()): candidates.append((seq + [idx], score + lp)) # 长度归一化后重排，保留前 beam_size 条 beams = sorted(candidates, key=lambda x: x[1] / (len(x[0]) ** alpha), reverse=True)[:beam_size] if len(finished) >= beam_size: break # 收尾：所有候选统一按长度归一化打分 pool = finished + beams pool.sort(key=lambda x: x[1] / (len(x[0]) ** alpha), reverse=True) return pool[0][0]alpha是最需要对着验证集调的参数，没有之一。中文摘要的参考长度普遍在 60 到 120 字，而模型在alpha=0.6时输出的中位数长度常常只有 40 出头，此时把alpha提到 0.8 到 0.9，ROUGE 往往能涨一到两个点，原因是召回率上来了。ngram_block=3意味着禁止任何三元组重复出现，对短摘要够用，太长会导致某些固定搭配（比如"据统计"）被误伤，可以放宽到 4。finished和beams分开维护是为了避免已结束的序列继续被扩展，收尾时再合池重排，防止早期的短句因为"结束得早、分母小"而被误判成最优。
4.3 ROUGE 的口径：n-gram 重叠奖励了什么、漏掉了什么
ROUGE-N 算的是 n-gram 召回率，ROUGE-L 算的是最长公共子序列。这套指标的本质是"和参考摘要的字面重叠"，它对三类行为给高分：照抄原文短语、输出高频常见搭配、把参考里出现过的词尽量多地塞进去。它对三类行为几乎无感：换了同义词的正确表述、语序调整后的等价语义、以及——最重要的——事实错误但用词正确。
| 解码配置 | ROUGE-1 | ROUGE-2 | ROUGE-L | 平均输出长度 |
|---|---|---|---|---|
| 贪心解码 | 38.2 | 16.9 | 34.1 | 32 字 |
| beam=4，alpha=0.6 | 40.5 | 18.7 | 36.0 | 41 字 |
| beam=4，alpha=0.9 | 42.1 | 19.4 | 37.8 | 78 字 |
| beam=4 + n-gram 抑制 | 41.8 | 19.8 | 37.5 | 76 字 |
这张表里的数字来自一次典型的消融实验，量级上很有代表性：把长度惩罚调对，比换解码算法带来的提升还大。但也正是这张表说明了 ROUGE 的局限——alpha=0.9那一行分数最高，实际读一遍会发现里面有不少把原文三句话硬拼起来的产物，通顺度明显下降。所以在毕设里报指标时，最好同时给出长度分布和两三个人工评估的样例，否则单看数字很容易自我说服。
5. 避坑与排查：loss 一路下降、ROUGE 纹丝不动的五个现场
摘要任务最折磨人的地方，在于它的失败模式高度隐蔽。分类任务里模型崩了，准确率会直接掉到随机水平；摘要任务里模型崩了，loss 照样平稳下降，输出的句子甚至读起来还挺顺，只是和原文没什么关系。下面这五个现场是这类项目里复现率最高的，每一条都按现象、原因、解决拆开。
5.1 训练侧：梯度、学习率与截断长度
现象一：训练 loss 稳定下降，验证 loss 前两个 epoch 下降后开始缓慢上升，ROUGE 从第 3 个 epoch 起不再变化。原因通常不是过拟合，而是解码阶段的搜索策略和验证指标脱节。验证时如果用的是贪心解码，模型在训练分布上越拟合，输出越趋向保守的高频短语，ROUGE 自然涨不动。解决方式是先把验证阶段的解码换成beam=4 + alpha=0.8，再观察曲线；如果仍然不动，检查验证集是否和训练集来自同一批文档模板，模板化严重的数据会让模型记住模板而不是学会摘要。
现象二：训练到几百 step 后 loss 突然变成nan，重启后在同一位置附近复现。原因多半出在 mask 上。某一整行被完全屏蔽时，softmax 输入全是-inf，输出 NaN，反向传播一路污染。用torch.finfo(dtype).min替代-inf能挡住大部分情况，但如果某条样本的目标序列全是<pad>（数据清洗时漏掉的空摘要），仍然会触发。解决方式是在 dataloader 里加一道断言，过滤掉目标长度小于 5 的样本，同时在训练循环里加梯度裁剪，max_norm取 1.0 到 5.0 之间。
现象三：显存够、batch 却开不大，把梯度累积步数调上去之后效果反而变差。这是 batch norm 与梯度累积不兼容的老问题，Transformer 里更隐蔽的版本是 LayerNorm 之外的 dropout 调度。梯度累积时 dropout 的随机掩码在每个 micro-batch 上独立采样，等价于把 dropout 率放大了accum_steps倍。解决方式是把 dropout 从 0.1 降到 0.05 再做累积，或者干脆改用更小的模型配更大的单卡 batch。
5.2 数据与评估侧：虚高的分数和沉默的 UNK
现象四：ROUGE-1 冲到 45 以上，但生成的摘要里几乎找不到原文的数字和人名。大概率是复制机制的下标对齐出了问题，或者复制支的权重被p_gen压死了。排查时把p_gen的均值打印出来，如果全程大于 0.95，说明模型完全没在用复制支。原因可能是copy_dist用的是词表下标而标签用的是扩展词表下标，梯度对不上。解决办法是统一到扩展词表空间，并在计算损失前把copy_dist对齐成[B, V+max_oov]的形状；如果用的是预训练分词器，还要确认<unk>在标签里到底保留还是替换成原文 token。
现象五：本地评估 ROUGE 很高，把模型交给别人复现，分数掉十几个点。这类"玄学"差异九成出在评估脚本上。中文 ROUGE 的分词口径不统一是重灾区：评估时用字级别切分还是词级别切分，是否保留标点，是否去掉停用词，是否对数字做归一化，每一项都能造成数点差异。解决办法是把评估脚本固定下来，写清楚分词器版本、是否转小写、是否去标点，并且在同一份预测文件上同时跑两套口径做交叉验证。血泪经验是：任何一次"指标突然变好"的改动，都要先怀疑评估脚本，而不是模型。
6. 设计取舍：抽取式拼装、端到端生成，还是先抽后写
绕了一圈，真正需要在动手前定下来的其实只有一件事：这套系统的技术路线到底选哪条。三条路的成本、上限和风险完全不同，选错了后面所有调参都是在给错误的方向做优化。
| 路线 | 核心做法 | 优势 | 主要风险 | 适用场景 |
|---|---|---|---|---|
| 抽取式 | 句子打分 + 冗余抑制 + 排序拼装 | 事实不失真、可解释、训练成本近乎为零 | 句子间不连贯、无法压缩长句 | 长文档、要求事实准确的场景 |
| 端到端生成 | Transformer 编解码 + 指针 + 覆盖 | 语言自然、能压缩改写 | 事实漂移、需要大量标注、训练不稳 | 短文本、有平行语料 |
| 先抽后写 | 抽取筛句压到 512 token，再喂生成模型 | 兼顾长文覆盖与生成质量 | 两段误差累积、管线复杂 | 长文档摘要、毕设里的折中方案 |
就本科毕业设计这个体量而言，我更倾向于第三条路。原因很实际：纯抽取式的实现难度低到不足以支撑一个完整的设计工作量，而纯端到端生成在标注数据只有几千对的情况下，训出来的模型往往连基本的事实一致性都保证不了，答辩时被问一句"这段摘要里的数字是从哪来的"就很难接。先抽后写把难点拆成了两块——句子筛选可以用无监督方法做，生成部分在短输入上训练也稳定得多，工程量刚好，故事线也讲得通。
验证这套东西是否真的 work，我会跑三组对照：第一组只跑抽取式基线，拿到一个下界；第二组在同样的输入上跑生成模型，看增益来自哪里；第三组把抽取模块换成随机选句，如果指标没怎么掉，说明筛选模块其实没起作用，问题出在生成端。这三组实验加起来不到一天，但能挡住大部分"以为自己在改进、其实只是在随机波动里挑了一次好结果"的自欺。
从那以后我每次开一个摘要相关的新项目，都强制先把抽取式基线跑出来、把评估脚本固定下来，再去动模型结构。这两件事花不了几个小时，却能让后面每一次指标变化都有归因。这份毕业设计资源里把数据处理、模型实现、训练配置和评估脚本都完整保留了下来，包括上面提到的掩码构造、指针生成和覆盖损失的实现细节，想深挖可以直接照着跑一遍对照实验。希望帮到你。
本文还有配套的精品资源，点击获取
