这几年做AI模型落地，我被问得最多的一个问题就是：能不能讲讲Transformer到底怎么搭起来的，微调又是怎么一回事？问的人里有刚入行的算法工程师，有做后端想转AI的同学，也有纯粹想自己跑个模型玩玩的爱好者。说实话，这个话题确实值得好好拆一遍——Transformer已经从单纯的学术架构变成了整个AI应用时代的基础设施，无论是拿它做文本分类、摘要生成，还是接上指令数据做对话模型，你都得先把它从里到外摸清楚，才知道后面怎么改、怎么调、怎么让模型真正为你手头的问题服务。
这篇东西我不打算写成一本文绉绉的教科书，而是用我自己实际搭模型、跑微调的现场经验，把整个流程掰开揉碎讲清楚：从为什么选Transformer、怎么准备数据、怎么搭核心组件，到训练时的关键参数怎么定、微调时哪些坑必须躲开。内容会附上可以直接跑的代码片段和参数取值，也会穿插一些常规文档里不会写的踩坑记录。适合三类人看：刚学完深度学习基础想动手实践的人、已经在用现成工具但想搞清楚内部原理的人、以及被微调效果不稳定折磨得头疼的开发者。
1. 整体设计与技术选型思路
1.1 为什么Transformer成了默认起点
在动手之前，先把一个根本问题想清楚：为什么现在聊AI模型搭建，十有八九绕不开Transformer？原因其实可以归结为三点。
第一是自注意力机制带来的全局建模能力。RNN和LSTM只能沿着序列一步步往后传递信息，序列超过几百步，早先的信息基本就衰减得差不多了。Transformer的自注意力机制等于让序列里每一个位置都可以直接和所有其他位置“对话”，不管两个词隔得多远，相互之间的依赖关系都能被显式建模。这对自然语言这种长距离依赖极强的数据来说，简直是量身定做的。
第二是并行计算的效率优势。RNN的每一步计算必须等前一步算完，GPU再强也只能坐在那里干等。Transformer是矩阵运算为主的架构，整个序列的注意力分数可以一次性算出来，在GPU上把并行度拉满。同样一块显卡，训练Transformer能比训练RNN快出好几个量级，这在模型动辄几亿甚至几千亿参数的今天，是决定性的优势。
第三是规模化的平滑扩展。Transformer架构在参数量从几千万涨到几千亿的过程中，表现一直是稳定提升的，没有出现明显的瓶颈。这一点已经被近几年的技术演进出反复验证了。对于普通开发者来说，这意味着你可以在小模型上调试好一切，然后用同一套代码骨架把模型做大，路径非常清晰。
所以我的结论很干脆：如果你没有极其特殊的理由（比如数据是强时序小样本、延迟极其敏感），新项目直接从Transformer起步就是最优解。前期省下的建模纠结时间，够你多跑三轮实验了。
1.2 从零手写还是基于开源库：两条路线的取舍
解决“要不要自己手写”这个问题，我的建议是：两个都要做，但是分阶段做。
对刚刚开始接触Transformer的人，我的建议是先基于PyTorch手动实现一遍完整的基础结构。这包括多头自注意力、位置编码、前馈网络、残差连接与层归一化、编码器-解码器的主体框架这几个部分。这个过程不是为了让你在生产环境里不用开源库——恰恰是为了让你以后用开源库的时候，不会被它内部一长串参数搞得抓瞎。我跟人开玩笑说，手写Transformer的过程就像是自己亲手组装过一台电脑之后，再去看品牌机内部的走线和接口布局，一眼就能看懂哪里是干什么用的。
工程实践阶段则完全相反：别自己去造轮子。现在已经成熟的开源生态里，主流的深度学习框架（我日常用的是PyTorch）加上常用的模型库和工具库，已经把数据加载、分词、训练循环、检查点保存这些基础设施做得非常完善了。你真正需要写的东西，是数据的预处理逻辑、模型的定制化封装、训练参数的调节策略，以及微调时对模型特定部分的改造。
我自己的实践路径是：先花大概一周到两周时间，把一个小的Transformer从零搭起来，在某个公开数据集上跑通训练和评测；然后切换到开源库路线，基于预制模型做微调和应用开发。前一步建立的“内部地图”，后一步会直接转化为你对模型行为和报错信息的敏感度。
1.3 开发环境的搭建与版本选型
环境这块我有一个血的教训：版本之间未必互相兼容，盲目装最新的版本就是在给自己埋定时炸弹。我这里给出我自己用的、经过验证比较稳的配置组合，供你参考：
- Python 3.10或3.11，长期稳定版本，生态兼容性最好
- PyTorch 2.x系列，自带torch.compile加速，对Transformer训练有明显提升
- Transformers库 4.40以上版本，各大模型结构的实现最全
- 数据集处理库、加速库、低比特量化库，按需安装对应版本
- 如果手头有NVIDIA显卡，CUDA版本和PyTorch的对应关系务必查官方对照表，不要只看显卡驱动版本就下结论
还有一个值得养成的习惯：每个项目都建议用独立的虚拟环境来隔离依赖，在环境配置完成后，固定导出依赖清单。版本这个东西，今天能跑不代表下个月还能跑，把环境完整记录下来，省的是未来的自己。
2. 核心组件解析与Transformer搭建实操
2.1 位置编码：给模型补上“顺序感”
Transformer的自注意力机制有个特点：它是完全无序的。你把一句话里的词顺序打乱，注意力分数在数学上是一模一样的。这就不行了——自然语言里“甲打了乙”和“乙打了甲”的意思完全相反。所以模型必须先知道每个词的相对或绝对位置信息，才能有效建模语言结构。
我自己项目里用的是正弦余弦位置编码，这也是Transformer原始论文里的方案。核心思想是：第i个token的第j个维度用固定波形函数赋值，把不同频率的正弦和余弦波叠加在一起，让模型可以通过波形的相位关系感知到距离和方向。没有可学习的参数，不用训练就能用，而且对于没见过的长序列也能处理。
如果你的需求是让模型学一个更适合特定任务的位置表示，那就用可学习位置编码——初始化一组随机向量，丢进训练过程里一起梯度下降，让模型自己学会位置关系。这个方法在序列长度相对固定的场景下效果更好。
2.2 多头自注意力机制：从公式到代码
多头自注意力是整个Transformer的心脏。核心公式其实只有一行：
[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]
Q（查询）、K（键）、V（值）三个矩阵都是从输入序列经过不同的线性投影得到的。Q负责“我要找什么”，K负责“我有什么”，两者的点积算出的就是一个token对另一个token的相关性分数，再经过softmax归一化成权重，最后对V做加权求和，得到这层注意力输出。
这里有一个关键细节：为什么点积之后要除以(\sqrt{d_k})？因为如果不除，那么当维度大时，点积的数值方差也会跟着变大，softmax算出来的分布会变得非常尖锐，梯度很容易消失。除以维度的平方根等于把方差拉回1附近，数值稳定性就好多了。
多头机制的意思是：不要只算一组注意力，而是把Q、K、V分别拆成多个头，每个头独立计算注意力，然后拼接起来再做一次线性投影。这么做的好处是，每个头可以关注序列的不同子空间——有的头专注于语法依赖，有的头关注指代关系，有的头关注相邻词的模式。多头是让Transformer“博采众长”的手段。
下面是多头自注意力的核心实现，我加了逐行注释：
import torch import torch.nn as nn import torch.nn.functional as F import math class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_heads, dropout=0.1): super().__init__() assert d_model % n_heads == 0, "维度必须能被头数整除" self.d_model = d_model self.n_heads = n_heads self.d_k = d_model // n_heads # 每个头的维度 # Q、K、V和输出的线性投影层 self.W_q = nn.Linear(d_model, d_model) self.W_k = nn.Linear(d_model, d_model) self.W_v = nn.Linear(d_model, d_model) self.W_o = nn.Linear(d_model, d_model) self.dropout = nn.Dropout(dropout) def forward(self, x, mask=None): batch_size, seq_len, _ = x.shape # 投影后拆成多头: (batch, seq_len, d_model) -> (batch, n_heads, seq_len, d_k) Q = self.W_q(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) K = self.W_k(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) V = self.W_v(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) # 注意力分数: (batch, n_heads, seq_len, seq_len) scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores = scores.masked_fill(mask == 0, float('-inf')) attn_weights = F.softmax(scores, dim=-1) attn_weights = self.dropout(attn_weights) # 加权求和: (batch, n_heads, seq_len, d_k) output = torch.matmul(attn_weights, V) # 合并多头: (batch, seq_len, d_model) output = output.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) return self.W_o(output)高维张量的转置和view操作容易把人绕晕，我的建议是自己在纸上画一下每一步的shape变化，从(batch, seq_len, d_model)拆成(batch, n_heads, seq_len, d_k)再拼回来的过程，画一遍就很清楚了。
2.3 前馈网络、残差连接与层归一化的作用
自注意力负责让信息在token之间流动，而每个token内部还需要一层“加工”——这就是位置级前馈网络（FFN）。FFN其实就是两个线性变换中间夹一个激活函数，对每个位置的表示分别做非线性变换。公式长这样：
[ \text{FFN}(x) = \text{ReLU}(xW_1 + b_1)W_2 + b_2 ]
一个常见的经验取值是：中间的隐藏层维度是输入维度的4倍，所以如果模型维度是768，FFN中间层通常是3072。这个“先升维、再降维”的设计，给了模型更大的表征空间，相当于每个token先展开细想一遍，再压缩回标准维度输出。
残差连接和层归一化是支撑Transformer能堆到几十上百层的两个支柱。残差连接的意思是每一层的输出是“输入加变换结果”，而不是单纯的“变换结果”，这样梯度在反向传播时能有一条近路直接流回浅层，避免层数深了之后梯度消失。层归一化是沿着特征维度做归一化，让每一层的输入分布保持稳定，训练过程会更顺滑。
你可以把整个过程理解成一条流水线：注意力负责收集上下游信息，残差保证信息不被加工过程弄丢，归一化控制每个环节的数值尺度，前馈网络做深度加工。这四者组合起来堆叠N层，就是完整的Transformer编码器。
2.4 Encoder-Decoder与Decoder-Only：两张架构的差异
Transformer原始论文采用的是编码器-解码器（Encoder-Decoder）架构，编码器负责理解输入，生成上下文表示，解码器负责基于这些表示逐个生成输出。但这种架构在生成式任务里的代价是：需要维护两套参数，预训练和微调都更复杂。
现在行业内最主流的方案其实是Decoder-Only架构：只有一个解码器堆栈，用“自回归”的方式从左到右逐个预测下一个token。训练的时候把文本序列错位一下——输入前n个token，目标就是后n个token。生成的时候每预测一个新token，就把它拼回输入，继续预测下一个。
为什么会变成这样？最核心的原因是Decoder-Only在规模化上的表现优异，而且同一套架构可以同时适配“理解类”任务（最后接一个分类头）和“生成类”任务（直接输出文本），泛化能力和灵活性都更好。所以我后续要讲的微调实践，也以Decoder-Only模型为主线。
3. 数据准备与训练流程的完整实现
3.1 数据清洗与质量筛查的方法
很多人在Transformer上花大量时间调模型结构，最后发现效果上不去，问题出在数据上。数据是模型的上限，模型只是尽力逼近这个上限。我在构造训练数据时，有一套自己的四级筛选流程：
- 第一级是字符级清洗：去掉控制字符、全角半角不统一的符号、乱码内容，把空白符统一成标准形式。
- 第二级是语言级筛检：用语言识别工具过滤掉与目标语言无关的内容，这一步对于采集来的互联网数据尤其重要。
- 第三级是质量打分：用规则评分和简单分类器结合的方式，给每条文本打质量分，把纯广告、机器生成的无意义文本、重复堆砌的内容过滤掉。
- 第四级是去重与近重复处理：用模糊哈希算法去掉完全重复或者高度雷同的文本，防止模型在某个固定句式的数据上过拟合。
清洗后的数据不是直接能用，我还建议做一遍人工抽样检查。比如从每类数据源各抽几十条样本，肉眼过一遍，经常能发现规则过滤漏掉的问题模式。这个习惯帮我避免过很多次“模型莫名其妙学歪了”的惨剧。
3.2 分词器选择与上下文窗口策略
分词器决定了模型看到的“词”长什么样。对中文来说，以字为粒度的分词器比较常见，因为中文词边界模糊，分词器直接按字切分可以避免分词错误被带入模型。对英文来说，BPE（字节对编码）类分词器是主流，它能把词汇表控制在合理规模的同时处理未登录词。
BPE的基本逻辑是：统计训练语料里出现频率最高的字节对，把它们逐步合并成新的子词单元。这样一来，像“unhappiness”这种词会被拆成“un”、“happi”、“ness”这样的子词片段，模型既能理解词根的含义，又能组合出没见过的新词。这套机制让模型词汇表外单词的处理能力大幅提升。
上下文窗口长度直接影响模型的质量、显存占用和训练/推理成本。从模型质量角度来说，窗口里的信息越长，模型能参考的上下文就越多，长文场景效果越好。但窗口翻倍，注意力计算量是平方级增长的，显存也随之大涨。我的建议是分阶段：先用短窗口（比如512或1024）做预训练或者长的微调，让模型掌握基础语言能力；再用长上下文（2048或更长）做增量训练，帮模型适应更长距离的依赖。现实中这个方案比一上来就上超长窗口稳定得多，而且能省不少预算。
3.3 训练循环、学习率调度与优化器配置
训练Transformer的标准循环，我在实践中凝练成下面几个核心步骤。先把训练集处理成固定格式，每批样本用动态padding对齐到当前batch的最大长度。然后前向传播拿到loss，反向传播得到梯度，再用优化器更新参数。每个step结束时清空梯度。每隔一定步数，在验证集上算一下指标，并自动保存当前最好检查点。
下面是一段我常用的PyTorch训练循环模板，直接改改就能用：
# optimizer: AdamW + warmup + cosine decay optimizer = torch.optim.AdamW(model.parameters(), lr=2e-5, weight_decay=0.01) def lr_lambda(current_step): # 前10%的step做warmup，之后按余弦曲线衰减 total_steps = len(train_loader) * epochs warmup_steps = int(total_steps * 0.1) if current_step < warmup_steps: return float(current_step) / float(max(1, warmup_steps)) progress = float(current_step - warmup_steps) / float(max(1, total_steps - warmup_steps)) return 0.5 * (1.0 + math.cos(math.pi * progress)) scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda) for epoch in range(epochs): model.train() total_loss = 0.0 for step, batch in enumerate(train_loader): input_ids = batch['input_ids'].to(device) attention_mask = batch['attention_mask'].to(device) labels = batch['labels'].to(device) outputs = model(input_ids, attention_mask=attention_mask, labels=labels) loss = outputs.loss optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step() scheduler.step() total_loss += loss.item() if step % 100 == 0: print(f"epoch {epoch + 1}, step {step}, loss {loss.item():.4f}, lr {scheduler.get_last_lr()[0]:.2e}")优化器这块，AdamW是Transformer训练的事实标准。它是在Adam基础上修正了权重衰减的实现方式，把权重衰减从梯度更新中解耦出来。简单说，AdamW对防止过拟合有用，而且收敛稳定。批量大小哪怕只有1，也可以用梯度累积变相放大等效批量。需要注意的是：梯度累积不能替代真正的批量大小，因为分母上的缩放和BatchNorm的统计特性还是有差异，但对于以LayerNorm为主的Transformer，影响不大。
学习率调度策略中，Warmup基本是绕不开的。训练初期模型参数是随机的，如果直接上大学习率，梯度方向不稳定，容易一下子就把参数推到很差的区域。Warmup先给小学习率让模型“热热身”，等梯度方向稳定后再逐步提高学习率，然后再按余弦退火慢慢降下来。我常用的是10%的warmup比例加上余弦退火，整体效果稳健。
梯度裁剪我建议一定开着。max_norm=1.0这个值是我试过平衡最好的，既能防止单个异常batch把整个训练冲垮，又不会明显拖慢收敛速度。自注意力在大序列上偶尔会出现梯度异常变大，这个防御措施成本很低，值得长期开启。
4. 微调（Fine-tuning）的方法论与实战配置
4.1 什么场景该做全量微调，什么场景该考虑PEFT
微调是整个流程里最体现功力的环节。全量微调（Full Fine-tuning）意味着模型的所有参数都参与训练，效果通常是最好的，因为模型的容量被完全释放了。但它的代价也最明显：显存占用高，训练时间长，而且如果微调的数据量不够大，很容易把预训练阶段学到的通用知识覆盖掉——这就是常说的灾难性遗忘。
近两年低秩适配（PEFT）类方法越来越普及，它的核心思想是冻结原模型的参数不动，另外插入一小部分可训练的参数，用很小的参数量去学习任务相关的调整。最典型的方法就是LoRA这类低秩适配器。
我的个人建议是：如果你拿到的数据量只有几千条，或者你的显存预算紧张，优先考虑LoRA这类高效微调方案，效果好、开销小。如果你有充足的高质量数据（几万条以上），并且硬件资源允许，再选择全量微调。实际的实验中，LoRA在小数据场景下往往比全量微调更稳，因为它动的是低维子空间，天然带一点正则化效果。
4.2 LoRA低秩适配的原理与实操
LoRA的基本假设是：模型在做任务适配的时候，权重的更新量虽然在高维空间里，但可以用低秩矩阵来近似。翻译成大白话就是：你不必改动原始的大矩阵，只要在大矩阵旁边加两个小矩阵，让它们的乘积近似等于原始权重的变化量就够了。
具体来说，原始权重矩阵(W_0 \in \mathbb{R}^{d \times d})被冻结，旁边新增 (A \in \mathbb{R}^{d \times r}) 和 (B \in \mathbb{R}^{r \times d}) 两个低秩矩阵，最终的权重变成(W_0 + \alpha \cdot BA)。r是秩，通常取8到64，远小于d。训练时只更新A、B，原始W0原封不动。推理时可以把A和B合并进W0，完全不增加额外推理开销——这一点对上线部署来说极其友好。
下面是一段Peft库内LoRA的标准配置示例，参数值是我实测效果稳定的一组：
from peft import LoraConfig, get_peft_model, TaskType lora_config = LoraConfig( task_type=TaskType.CAUSAL_LM, r=16, # 秩，16是一个常用且稳健的值 lora_alpha=32, # 缩放因子，一般是r的2倍 lora_dropout=0.05, target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], ) model = get_peft_model(base_model, lora_config) model.print_trainable_parameters() # trainable params: 以7B模型为例，通常是几百MB级别，约占总参数量的1%左右target_modules的选择要基于模型的模块命名来定。你把模型打印出来看一下线性层的名字再决定，千万别盲抄网上的配置。缩放因子alpha和r的关系：alpha越大，LoRA的更新幅度越大，但太大容易把原始能力冲掉，2倍是我常用的基准值。
LoRA还有一个明显的好处：多个任务可以分别保存各自的A、B矩阵，切换任务时只要换这两个小文件即可，不需要复制整个大模型。我做过最多的是在一台机器上同时维护五六个不同业务的LoRA权重文件，每个只有几MB到几十MB，部署和迭代体验比维护多个全量模型舒服太多了。
4.3 冻结策略与分层学习率
微调的时候你不需要对每一层一视同仁。Transformer有一个常见的特性：靠近输入的底层学到的是通用的语言基础能力（句法、词法），靠近输出的高层学到的是更语义化、任务相关的能力。
所以一个实用的策略是“分层学习率衰减”：越靠近底层的层，学习率越低；越靠近输出层，学习率越高。常见做法是给不同层设置学习率倍数，从底层的0.5倍逐层升到顶层的1.5~2倍。这样既能保留底层的通用特征，又能让高层更快适配新任务。
在推理逐层决定学习率的时候，我的建议是把模型按层编号访问，按照层索引设置不同的param_group。代码写起来不复杂，但收益明显，尤其在数据量不算很大的微调任务里，能明显降低灾难性遗忘的风险。
冻结策略方面，如果是做分类这类任务，通常只需要解冻最后几层加上分类头；如果是做真实场景指令微调，至少要让最后的4到8层参与训练。全冻结只训练新增模块（比如LoRA、Prefix）的做法，在PEFT里用得最多，因为它的显存占用最少。
4.4 微调超参数的经验取值与数据格式设计
关于微调超参数，我直接抛一组个人经验值：
- 学习率：全量微调2e-5到5e-5；LoRA微调1e-4到3e-4；学习率过高是微调效果崩坏的第一大原因
- 训练轮数：小数据3到5轮；数据充足且多样可以降为1到2轮
- 批量大小：全量微调能放多大放多大，梯度累积等效到16到32；LoRA对批量大小不敏感，4到8也行
- 权重衰减：0.01，标准值
- 最大序列长度：分类任务128到256，生成任务512到2048
训练轮数这块我多唠叨一句：微调不同于预训练，轮数一旦过多，模型会快速过拟合到微调数据上，表现就是验证集loss下降后迅速反弹，生成内容开始机械重复训练集里的句式。所以微调时一定要留验证集，盯着验证loss做早停（early stopping）。
数据格式直接决定模型能不能把你想要的指令-响应对关系学好。我的统一做法是：每条训练样本封装成包含指令、输入和期望输出的完整结构。以chat格式为例，每一轮对话按“角色标记+内容”组织，不同角色之间用专用的分隔符隔开。训练时模型的目标是预测整个结构化文本，从指令到输出全部预测，这样模型才能学会对话的形态和边界。
5. 常见问题与排查技巧实录
5.1 训练不收敛：先查数据，再查参数
模型loss完全不降或者震荡剧烈，这是所有训练者都会撞上的问题。我的排查顺序固定先数据后参数：先看数据和标签是否对齐，有没有错位、缺失、重复导致的混乱；再看loss曲线在初始阶段的走向，如果初始loss比理论值高出一大截，很可能是标签错位。
排除数据后，再看参数层面。最典型的坑是学习率设置过高，导致loss震荡甚至发散。我把学习率从5e-5一路降到1e-5之后，训练明显稳定下来，这种经历出现过不止一次。还有一种情况是梯度爆炸——loss突然爆一个大尖峰，然后又跌回去。检查一下权重范数曲线，如果数值突然涨到几百上千，就该加大梯度裁剪或者降低学习率。
5.2 显存溢出：梯度检查点与混合精度双管齐下
显存爆掉（OOM）是训练大模型的日常。最直接的方案排序是这样的：
- 减小batch size，但别减完就完事，要想办法用梯度累积补回等效批量
- 开启混合精度训练，显存占用和训练速度双双改善
- 启用梯度检查点，用计算换显存，把前向传播过程中的中间激活值丢弃掉一部分，反向传播时重算。代价是训练时间变长，但显存降幅非常明显
把混合精度和梯度检查点同时开起来，是很多人在普通显卡上训练亿级参数模型的底气。另外，把输入和标签放到同一设备上，避免数据传输的隐式拷贝，也是一个经常被忽略的省显存细节。
5.3 微调后能力退化与过拟合的应对
微调之后模型在原能力上大幅下滑，或者在测试集上效果很好、一到真实数据就拉胯，这两个问题我都经历得太多。
能力退化的核心解决办法是“减小破坏半径”：
- 用更低的学习率，给模型更小的扰动
- 减少训练轮数，不要反复碾压同一批数据
- 使用LoRA这类低参数微调方法，把改动局限在低维空间里
- 在微调数据里掺入一定比例（比如10%到20%）的通用语料，帮助模型保持通用能力
过拟合的解法更直白：一是数据丰富度和质量比数据量更重要，把重复、低质的样本清干净；二是加正则化手段，如权重衰减、dropout、标签平滑；三是用早停，验证loss连续几个epoch不降甚至上升就立刻停止训练。
5.4 生成质量不佳的进阶排查手段
如果你的微调模型能跑通，但生成出来的内容套路化严重、偏离指令、或者反复重复同一句话，我建议按下面的清单排查：
- 温度参数：解码温度过高，输出散乱；过低，输出单调。文本生成常用0.7到0.9之间，需要按场景调
- 采样策略：只用贪心解码容易出现重复；Top-k和Top-p结合采样能增加多样性，但要把范围设得保守一点
- 重复惩罚：通过调整重复惩罚系数来抑制n-gram重复，但系数太大会让表达变得生硬
- 指令格式不一致：训练时用的指令模板和推理时用的模板必须一致，这个不一致是微调后效果骤降的一大隐形元凶
我印象最深的一个案例：某次微调后验证集指标好看，但真实使用总觉得别扭，排查了两天，最后发现是推理代码里用的对话模板和训练时用的差了一个空格位置。这种细节错误也会导致输入分布漂移，让模型行为明显变差。
6. 我的实操心得与几点建议
跟Transformer打了这么久的交道，有几个体会特别想分享给你。
第一个体会是：从零手写Transformer和直接调库并不是对立的，它们是为同一个目标服务的两个阶段。调库之前花时间手写一遍主干结构，后面用库时的调试速度会快很多。别嫌手写浪费时间——少走弯路的钱，往往就是在这里省的。
第二个体会是：微调这件事，最大的风险不是技术复杂度，而是数据质量。我经手的所有微调效果特别好的项目，共同点都是数据清洗和格式设计做得极为扎实；凡是效果翻车的，复盘到底几乎都能找到数据层面的问题。别急着调参，先把数据洗到“是不是金子一眼能看出来”的程度再说。
第三个体会是：排查问题要有固定方法论。训练不收敛、显存溢出、生成效果差，每一类都有对应的排查清单和止损手段。最怕的是没有方法论的乱试参数，那样往往会把问题搞得更复杂。
最后分享一个小技巧：每个实验都配一张“实验登记表”，把模型版本、数据版本、超参数、验证指标、样本输出全部记录下来。训练跑完先别急着开香槟，先看看验证集上那些模型做得不好的样本，找出失败模式，再决定是补数据还是调配置。长期积累下来，你就能建立起自己对模型和数据的直觉，这种直觉比任何现成的调参表格都管用。
这套从基础搭建到微调的全流程，说穿了就是：把架构搞懂，把数据做扎实，把参数调稳，把排查方法固化。希望这篇东西能让你在动手搭自己的Transformer模型时，少走一些我当年走过的弯路。
