1. 判别式文本分类的底层逻辑与BERT的定位
文本分类这件事，在自然语言处理里算得上是“老江湖”级别的任务了。从最早的朴素贝叶斯、SVM配合TF-IDF特征，到后来的TextCNN、BiLSTM，再到BERT横空出世，每一代方案都在试图回答同一个问题：怎么让机器判断一段文字属于哪个类别。这件事听起来简单，但真正做过项目的人都知道，文本分类的难点从来不在“分类”这个动作本身，而在于“读懂”这两个字。
判别式模型的核心思路很直接：给定输入文本，直接输出它属于各个类别的概率分布，然后取概率最高的那个作为预测结果。这跟生成式模型的路子完全不同——生成式模型是去建模“文本是怎么产生的”，而判别式模型只关心“这段文本应该被分到哪一类”。BERT就是判别式文本分类里最典型的代表，它的全称是Bidirectional Encoder Representations from Transformers，翻译过来就是“基于Transformer的双向编码器表示”。
我第一次接触BERT做文本分类的时候，最直观的感受是：这东西怎么这么“重”。一个base版本就有1.1亿参数，large版本更是到了3.4亿。但用下来之后发现，它在分类任务上的表现确实对得起这个体量。原因在于BERT的预训练过程让它学会了语言的深层表示，你只需要在它上面加一个很小的分类头，用少量标注数据做微调，就能拿到相当不错的效果。
这篇文章主要面向两类人：一类是已经用过传统机器学习方法做文本分类，想了解BERT到底强在哪里的从业者；另一类是有一定深度学习基础，准备把BERT落地到实际分类项目中的开发者。我会从BERT的输入处理、内部结构、分类头设计、微调策略这几个维度，把“BERT是怎么读懂一句话”这件事拆开来讲清楚。
2. BERT的输入表示：把一句话变成模型能吃的“数字饲料”
2.1 三个Embedding的加和逻辑
BERT处理文本的第一步，是把人类能看懂的字符串转换成模型能处理的数字向量。这个过程叫Tokenization加Embedding，但BERT的做法跟传统的Word2Vec有本质区别。
BERT的输入表示由三部分加和而成：Token Embeddings、Segment Embeddings、Position Embeddings。这三者逐元素相加，得到最终的输入向量。为什么要加而不是拼接？因为加和可以在不增加维度的情况下融合三类信息，而且预训练阶段模型已经学会了在这种加和表示上做双向注意力，拼接反而会破坏预训练时学到的表示空间。
Token Embeddings负责把每个token映射成一个固定维度的向量。BERT用的是WordPiece分词，它会把不常见的词拆成子词。比如“tokenization”可能被拆成“token”和“##ization”两个token。这样做的好处是大幅缩小词表规模，同时能处理未登录词。中文场景下，BERT通常按字切分，每个汉字就是一个token，所以中文BERT的词表大概在两万出头。
Segment Embeddings用来区分句子对中的两个句子。在文本分类任务里，通常只有一段文本，所以所有token的Segment Embedding都是同一个值。但在问答、自然语言推理这类需要处理句子对的任务中，这个Embedding就派上用场了。
Position Embeddings是BERT区别于RNN和CNN的关键之一。Transformer本身没有序列顺序的概念，所有token是并行处理的，所以必须显式地注入位置信息。BERT用的是可学习的位置嵌入，最大长度512，也就是说它最多能处理512个token的序列。
2.2 特殊Token的作用与分类任务中的使用
BERT的输入序列里有两个特殊token：[CLS]和[SEP]。[CLS]放在序列开头，[SEP]放在每个句子末尾。在文本分类任务中，[CLS]这个位置的输出向量会被拿来做分类。为什么是[CLS]？因为它在预训练阶段就跟所有token做了注意力交互，相当于一个“汇总节点”，它的表示可以看作整句话的语义摘要。
这里有个实操细节值得注意：[CLS]向量并不是天然就适合做分类的。在预训练阶段，[CLS]主要用于下一句预测任务，跟分类任务的目标并不完全一致。所以微调的时候，分类头需要跟BERT的参数一起更新，让[CLS]的表示逐渐偏向分类任务的需求。
另一个细节是最大序列长度的选择。BERT-base支持512个token，但实际项目中大部分文本分类任务的文本长度远小于这个值。我一般会先统计训练集里文本长度的分布，取95%分位数作为max_length。这样既能覆盖绝大多数样本，又能减少计算量。如果直接设成512，短文本会被大量padding，浪费算力。
2.3 分词器的选择与中文场景的坑
中文文本分类用BERT，分词器这块有几个坑得提前说清楚。首先是中文BERT的分词粒度问题。Google原版的中文BERT是按字切分的，每个汉字一个token。这样做的好处是词表小、不会出现未登录词，但缺点是序列长度会比按词切分长约1.5到2倍。如果你的文本平均长度是200个字，按字切分后序列长度就是200，加上特殊token就是202，还在512范围内，问题不大。但如果文本平均长度超过400字，就得考虑截断策略了。
截断策略也有讲究。直接截断尾部是最简单的做法，但可能会丢掉关键信息。我试过几种方案：头部截断、尾部截断、头尾各取一半。实测下来，对于新闻分类这类关键信息通常在前面的任务，头部截断效果更好；对于评论情感分析这类关键信息可能出现在任何位置的任务，头尾各取一半更稳。当然，如果算力允许，用滑动窗口把长文本切成多个片段分别编码再融合，效果是最好的，但工程复杂度也最高。
还有一个容易忽略的点是分词器的do_lower_case参数。中文场景下这个参数影响不大，但如果你的文本里混有英文，设成True会把所有英文转成小写，可能会丢失一些大小写敏感的信息。比如“Apple”和“apple”在英文语境下含义不同，转成小写后就区分不出来了。所以如果文本里英文占比不低，建议设成False。
3. Transformer编码器：BERT“读懂”一句话的核心机制
3.1 自注意力机制的工作原理
Transformer编码器是BERT的核心，而自注意力机制又是Transformer编码器的核心。自注意力的计算过程可以用一句话概括：每个token都去“询问”其他所有token，然后根据相关性加权汇总信息。
具体来说，每个token的输入向量会被分别映射成Query、Key、Value三个向量。Query代表“我在找什么”，Key代表“我有什么”，Value代表“我实际的内容”。然后计算Query和所有Key的点积，得到注意力分数，经过softmax归一化后，用这些分数对Value做加权求和，就得到了该token的新表示。
这个过程用矩阵运算可以并行完成，这也是Transformer比RNN快的原因。RNN必须按顺序处理序列，而Transformer可以一次性处理所有位置。但并行也带来了一个问题：计算复杂度是序列长度的平方。序列长度512时，注意力矩阵是512乘512，还好；但如果序列长度到2048，注意力矩阵就是2048乘2048，显存占用会急剧上升。这也是后来各种高效注意力变体出现的原因。
多头注意力是在自注意力基础上的扩展。它把Query、Key、Value分别映射到多个子空间，在每个子空间里独立计算注意力，最后把结果拼接起来。这样做的好处是模型可以同时关注不同类型的信息。比如一个头关注语法关系，另一个头关注语义相似度，还有一个头关注位置邻近性。BERT-base用了12个头，每个头的维度是64，总维度是768。
3.2 残差连接与层归一化的作用
Transformer编码器的每个子层后面都有残差连接和层归一化。残差连接解决的是深层网络的梯度消失问题。BERT-base有12层，如果没有残差连接，梯度在反向传播过程中会逐层衰减，底层参数几乎更新不了。有了残差连接，梯度可以直接跳过某些层传到底层，保证每一层都能得到有效的更新。
层归一化则是对每个样本的特征维度做归一化，跟批归一化不同，它不依赖于batch size。这在NLP任务里很重要，因为文本长度不一，batch内不同样本的有效长度差异很大，批归一化的统计量会不稳定。层归一化对每个样本独立计算均值和方差，不受batch组成的影响。
残差连接和层归一化的顺序也有讲究。原始Transformer用的是Post-LN，也就是先做子层计算，再残差连接，最后层归一化。后来研究发现Pre-LN更稳定，也就是先层归一化，再子层计算，再残差连接。BERT用的是Post-LN，所以在微调时学习率不能设太大，否则容易训练不稳定。如果自己从头预训练或者做继续预训练，Pre-LN会更省心。
3.3 前馈网络与激活函数的选择
每个Transformer编码器层里，除了多头注意力，还有一个前馈网络。这个前馈网络其实就是一个两层的全连接网络，中间有一个非线性激活函数。BERT-base里，前馈网络的隐藏维度是3072，是模型维度768的4倍。这个比例不是随便定的，4倍扩展再压缩回去，相当于让模型在一个更高维的空间里做非线性变换，增强表达能力。
激活函数方面，BERT用的是GELU，全称是Gaussian Error Linear Unit。它跟ReLU的区别在于，ReLU在负半轴直接输出0，而GELU在负半轴有一个平滑的非零输出。这个平滑性让GELU在零点附近可导，梯度更稳定。实测下来，GELU在Transformer类模型上确实比ReLU略好，但差距不大。如果推理速度是瓶颈，换成ReLU也能接受，大概会损失0.5到1个百分点的准确率。
前馈网络还有一个细节是dropout。BERT在前馈网络的输出上加了dropout，默认概率是0.1。这个dropout在微调阶段很重要，因为分类任务的标注数据通常不多，不加dropout很容易过拟合。但如果你的标注数据超过十万条，可以把dropout降到0.05甚至更低，让模型更充分地拟合数据。
4. 分类头设计：从[CLS]向量到类别概率
4.1 单层线性分类头的标准做法
BERT做文本分类，最标准的做法是在[CLS]向量上面加一个线性层。假设[CLS]向量的维度是768，类别数是C，那这个线性层的权重矩阵就是768乘C，偏置是C维向量。前向传播就是拿[CLS]向量跟权重矩阵做矩阵乘法，加上偏置，得到C维的logits，再经过softmax就得到各类别的概率。
这个设计简单到令人发指，但效果出奇地好。原因在于BERT预训练已经把[CLS]向量训练成了一个很好的句子表示，线性层只需要学习一个从表示空间到类别空间的线性映射。这跟传统机器学习里用SVM做分类的思路很像，只不过特征从人工设计的TF-IDF换成了BERT学到的稠密向量。
但这里有个问题：[CLS]向量真的包含了整句话的信息吗？从注意力机制的角度看，[CLS]确实跟所有token都做了注意力交互，但注意力权重是softmax归一化的，所有token的权重加起来等于1。如果序列很长，每个token分到的权重就会很小，[CLS]可能无法充分汇总所有信息。这也是为什么有些任务上，用所有token向量的平均池化或者最大池化，效果反而比[CLS]更好。
4.2 池化策略的选择与对比
除了[CLS]向量，常见的池化策略还有平均池化和最大池化。平均池化是把所有token的向量取平均，最大池化是逐维度取最大值。这三种策略各有优劣，我做了个对比表格：
| 池化策略 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
[CLS]向量 | 与预训练目标一致，实现简单 | 长文本时信息汇总可能不充分 | 短文本分类、句子对任务 |
| 平均池化 | 充分利用所有token信息 | 可能被padding token干扰 | 中等长度文本、主题分类 |
| 最大池化 | 突出显著特征 | 丢失序列整体信息 | 关键词驱动的分类任务 |
| 注意力池化 | 自适应加权，理论最优 | 增加参数，可能过拟合 | 标注数据充足时 |
注意力池化是我个人比较推荐的一种方案，尤其是在标注数据比较充足的情况下。它的做法是引入一个可学习的query向量，跟所有token的Key做注意力计算，得到权重后对Value加权求和。这样模型可以自己学习哪些token对分类更重要。但缺点也很明显：增加了一组参数，如果标注数据只有几千条，很容易过拟合。我一般会在标注数据超过五万条时才考虑用注意力池化。
4.3 多标签分类与层次分类的扩展
实际项目中，文本分类往往不是简单的单标签多分类。多标签分类就是一个常见变体，比如一条新闻可能同时属于“科技”和“财经”两个类别。这时候分类头的输出维度不变，但损失函数要从softmax交叉熵换成sigmoid二元交叉熵。每个类别独立计算二分类损失，最后求和或取平均。
层次分类是另一个常见需求。比如电商商品分类，先分“服装”“数码”“食品”等一级类目，再在“服装”下面分“男装”“女装”“童装”等二级类目。一种做法是训练多个独立的BERT分类器，每个层级一个。但这样参数量会随层级数线性增长。另一种做法是共享BERT编码器，只在分类头部分做层次化设计。比如先预测一级类目，再把一级类目的预测结果作为特征输入到二级类目的分类头中。这样参数量增加不多，但需要设计好层级间的信息传递方式。
5. 微调策略：让预训练模型适配你的分类任务
5.1 学习率与优化器的选择
BERT微调的学习率设置是个关键参数。预训练阶段用的学习率通常是1e-4到5e-5，但微调阶段要用更小的学习率，一般在2e-5到5e-5之间。为什么？因为预训练已经让模型学到了很好的语言表示，微调只是在这个基础上做小幅调整。学习率太大，会破坏预训练学到的知识，导致灾难性遗忘。
优化器方面，BERT原论文用的是Adam，但后来大家发现AdamW效果更好。AdamW跟Adam的区别在于权重衰减的实现方式。Adam是在梯度更新后做权重衰减，而AdamW是在梯度更新前做权重衰减。这个区别在Transformer类模型上影响很大，AdamW能更有效地防止过拟合。我实测下来，同样的数据和学习率，AdamW比Adam的验证集准确率能高0.5到1个百分点。
还有一个技巧是学习率预热。在训练的前10%步数里，学习率从0线性增加到设定值，然后再线性衰减到0。这样做是为了让模型在训练初期不要更新太猛，避免破坏预训练参数。预热比例一般设0.1，如果标注数据很少，可以设0.2甚至0.3，让模型更温和地适应新任务。
5.2 分层学习率与逐层解冻
分层学习率是另一个值得尝试的策略。它的核心思想是：底层学的是通用语言特征，不需要大改；顶层学的是任务相关特征，需要多更新。所以底层用更小的学习率，顶层用更大的学习率。具体实现时，可以给每一层设置不同的学习率衰减系数，比如第12层用1.0倍，第11层用0.9倍，以此类推，第1层用0.1倍。
逐层解冻是分层学习率的极端版本。一开始只训练分类头和最后几层，前面的层冻结不动。训练几个epoch后，再解冻更多层，逐步扩展到全部层。这样做的好处是训练更稳定，尤其适合标注数据很少的场景。我试过在只有两千条标注数据的情感分类任务上，逐层解冻比直接全量微调的验证集准确率高3个百分点左右。
但逐层解冻也有缺点：训练时间更长，因为要分多个阶段。而且解冻的时机和层数需要调，没有统一的最优解。我的经验是：标注数据少于五千条时，逐层解冻值得一试；超过五万条时，直接全量微调就行，逐层解冻带来的收益不明显。
5.3 对抗训练与数据增强
对抗训练是提升BERT分类鲁棒性的有效手段。它的思路是在输入embedding上加一个微小的扰动，让模型在扰动后的输入上仍然能正确分类。这个扰动不是随机的，而是沿着梯度上升的方向，也就是让损失变大的方向。这样模型就被迫学习更鲁棒的特征，而不是记住训练数据里的噪声。
FGM和PGD是两种常用的对抗训练方法。FGM只做一步扰动，计算量小；PGD做多步扰动，效果更好但更慢。我一般先用FGM试水，如果验证集提升明显，再换PGD。实测下来，对抗训练能让验证集准确率提升1到2个百分点，但训练时间会增加30%到50%。
数据增强在文本分类里也有不少玩法。最简单的是同义词替换，用同义词词典把句子里的某些词换掉。但同义词替换容易改变句子语义，尤其是多义词场景。另一种是回译，把句子翻译成另一种语言再翻译回来。回译能生成语义一致但表达不同的句子，效果比同义词替换好，但需要翻译模型，工程成本高。还有一种是无监督数据增强，比如用BERT的掩码语言模型预测被mask掉的词，生成新的句子。这种方法不需要额外模型，但生成的句子质量参差不齐，需要过滤。
6. 实操中的常见问题与排查技巧
6.1 过拟合与欠拟合的判断与处理
过拟合是BERT微调最常见的问题。判断过拟合很简单：训练集损失持续下降，验证集损失先下降后上升，验证集准确率在某个epoch后开始下降。处理过拟合的手段有几种：增加dropout、减小学习率、减少训练轮数、增加权重衰减、使用早停。我一般会先看训练轮数是不是太多了。BERT微调通常3到5个epoch就够了，超过5个epoch基本就是在过拟合。
欠拟合的判断标准是训练集和验证集的损失都居高不下，准确率也上不去。欠拟合的原因可能是学习率太小、训练轮数不够、模型容量不足。可以先试着把学习率调大一个数量级，或者增加训练轮数。如果还不行，可能是任务本身太难，或者标注数据质量有问题。这时候需要回头检查数据标注的一致性，看看有没有大量标错的样本。
6.2 类别不平衡的处理策略
类别不平衡在文本分类里太常见了。比如垃圾评论检测，正常评论可能占99%，垃圾评论只占1%。这时候模型只要把所有样本都预测成正常评论，准确率就有99%，但这样的模型毫无用处。
处理类别不平衡有几种方案。最简单的是重采样：对少数类过采样，对多数类欠采样。但过采样容易导致过拟合，欠采样会丢失信息。折中方案是SMOTE，在少数类样本之间做插值生成新样本。但SMOTE在文本数据上效果一般，因为文本是离散的，插值出来的向量不一定对应合法的文本。
另一种方案是调整损失函数。给少数类的损失加一个权重，权重跟类别频率成反比。比如正常评论和垃圾评论的比例是99比1，那垃圾评论的损失权重就是99，正常评论是1。这样模型会更关注少数类。PyTorch里CrossEntropyLoss的weight参数就是干这个的。
还有一种方案是调整预测阈值。模型输出的是概率，默认阈值是0.5，大于0.5就预测为正类。如果少数类是正类，可以把阈值调低，比如0.3，让更多样本被预测为正类。这样召回率会上升，但精确率会下降。具体调多少，要看业务需求是更看重召回还是精确。
6.3 推理速度优化与模型压缩
BERT-base在GPU上推理一条文本大概需要几毫秒到几十毫秒，取决于序列长度和batch size。如果QPS要求高，或者要部署到边缘设备，就需要做推理优化。
模型蒸馏是最常用的压缩方法。用一个大模型（教师）的输出概率分布来训练一个小模型（学生），让学生模型模仿教师模型的行为。蒸馏后的小模型参数量可能只有BERT-base的十分之一，但准确率能保留95%以上。DistilBERT就是BERT蒸馏后的版本，参数量减少了40%，推理速度快了60%，准确率只掉了3个百分点左右。
量化是另一种压缩方法。把模型参数从32位浮点数转换成8位整数，模型大小直接缩小到四分之一，推理速度也能提升2到3倍。但量化会带来精度损失，通常掉1到2个百分点。如果对精度要求不高，量化是很划算的。PyTorch提供了动态量化和静态量化两种方案，动态量化实现简单，静态量化精度更高但需要校准数据。
ONNX Runtime是推理加速的另一个利器。把PyTorch模型导出成ONNX格式，然后用ONNX Runtime推理，速度通常比原生PyTorch快1.5到2倍。ONNX Runtime还支持图优化、算子融合等加速技术。如果部署环境是CPU，ONNX Runtime的加速效果更明显。
6.4 常见问题速查表
| 问题现象 | 可能原因 | 排查方法 | 解决方案 |
|---|---|---|---|
| 训练损失不下降 | 学习率太小、数据标注错误 | 检查学习率、抽查标注样本 | 调大学习率、清洗数据 |
| 验证损失上升 | 过拟合 | 对比训练和验证损失曲线 | 增加dropout、早停、减小学习率 |
| 准确率远低于预期 | 分词器不匹配、max_length太短 | 检查分词结果、统计文本长度分布 | 换用匹配的分词器、增大max_length |
| 推理速度慢 | 序列太长、batch太小 | 统计序列长度、测试不同batch size | 截断长文本、增大batch size |
| 显存不足 | batch太大、序列太长 | 监控显存占用 | 减小batch、用梯度累积 |
| 类别预测偏向多数类 | 类别不平衡 | 统计类别分布 | 调整损失权重、重采样 |
7. 从BERT出发的延伸思考
BERT做文本分类这套方法论，放到今天依然很能打。但技术迭代快，有些新东西值得关注。比如RoBERTa，它其实是BERT的优化版，去掉了下一句预测任务，用了更大的batch和更多的数据做预训练，在分类任务上通常比BERT高1到2个百分点。再比如DeBERTa，引入了解耦注意力机制，把内容和位置信息分开处理，效果又比RoBERTa好一些。
如果标注数据很少，比如只有几百条，可以考虑用prompt-based的方法。把分类任务改写成完形填空的形式，比如“这条评论的情感是[MASK]”，让模型预测[MASK]位置是“正面”还是“负面”。这种方法在少样本场景下比传统微调效果好很多，因为预训练阶段模型已经见过大量类似的任务形式。
另一个方向是用大语言模型做零样本或少样本分类。大语言模型不需要微调，直接给几个示例就能做分类。但大语言模型的推理成本比BERT高几个数量级，而且分类稳定性不如微调后的BERT。我的建议是：如果标注数据超过一千条，老老实实用BERT微调；如果只有几十条甚至没有标注数据，再考虑用大语言模型做少样本分类。
最后分享一个我在实际项目中总结的小技巧：分类头的初始化方式对微调效果有影响。默认情况下，PyTorch的线性层用Kaiming初始化，但BERT的[CLS]向量分布跟一般特征不同，用默认初始化可能导致训练初期损失震荡。我试过用均值为0、标准差为0.02的正态分布初始化分类头权重，训练稳定性明显更好。这个技巧在标注数据少的时候尤其管用，因为训练初期的不稳定很容易让模型陷入糟糕的局部最优。
