最近不少朋友问我：机器学习入门到底做什么项目最划算。我的答案一直是电影评论情感分析——数据好找、任务直观、可解释性强。但大多数人做到正面/负面二分类就停了，一旦换成三分类、五分类，模型效果会明显跳水。这个现象背后，恰好藏着“文本处理+多分类”最值得搞懂的核心逻辑。
这篇文章我会从一个完整的电影评论多分类情感分析项目出发，把标签体系设计、文本清洗、分词、特征工程、模型选型、评估指标到错误分析整套流程拆开讲，尤其是那些文档里不会写的坑。无论你是刚学机器学习的新手，还是已经做过二分类想要进阶的开发者，这篇都能当一份可以照着做的项目笔记。
1. 先想清楚标签体系：多分类的第一道坎
1.1 三分类还是五分类，先看清业务需求
很多人拿到影评数据第一反应就是“直接预测评分不就完了”，但真实的文本情感分析很少直接回归一个分数，更多是判断情感倾向的档位。常见的分法有两种：
- 三分类：负面、中性、正面。这是最实用的方案，也是多分类情感分析最经典的任务设置。
- 五分类：强烈负面、负面、中性、正面、强烈正面。对应1到5星的评分体系，更细粒度，但难度明显上升。
我建议第一次做多分类项目，先跑三分类。原因很直接：五分类的类别边界模糊，标注一致性很难保证。比如“还可以”这种评论，你说它是中性还是正面？不同的人标注结果可能完全不同。模型学到的是不稳定的标签，后期评估和调优都会变得不可控。三分类至少能把“有明确情感倾向”和“没有明显倾向”分开，边界清晰得多。
1.2 按评分映射标签，但别迷信评分
如果你手上的数据自带评分，常见的做法是：1-2分映射为负面，3分映射为中性，4-5分映射为正面。这个映射看起来顺理成章，但实际数据里噪音很大。
我遇到过不少标注反例：有人给了3分（中性），评论内容却是“剧情烂得离谱，演员演技全程尴尬”；也有人给了2分（负面），评论却是“冲着导演来的，虽然有些拖沓但整体不算太差”。如果严格按评分打标，模型会被这些矛盾样本带偏。
实操经验是：在标签映射之后，抽一批样本人工复核。不用复核太多，一两百条足够，目的是估算标签噪音比例。如果噪音超过10%，就要考虑清洗规则，或者把3分档位附近的样本单独筛出来重新看。
1.3 类别分布决定后续一切
这一步很多人直接跳过，但我强烈建议先画一个类别分布直方图。影评数据通常正面偏多、中性偏少，如果正面占了60%以上，中性只有10%，后面所有环节都会受影响。
具体的连锁反应是：模型会倾向于把不确定的样本预测成多数类，准确率看起来不低，但中性样本的召回率可能低得没法看。类别不均衡问题如果在这个阶段就发现，处理方式会从容很多——比如在采集阶段多找一些中性样本，或者干脆用后续章节会讲的类别权重方法，而不是等到模型训完再来补救。
2. 文本清洗与分词：决定模型上限的脏活
2.1 别把所有标点都删干净
文本清洗是所有NLP项目的第一步，也是很多人做错的一步。
我的清洗顺序是：去掉HTML标签、提取纯文本内容、去掉URL和@用户信息、过滤掉非常用特殊符号。但有一个关键细节：标点不要全删。
为什么？因为标点在情感表达里是有意义的。“这片子太差了！！！”和“这片子太差了。”传达的情感强度完全不同。连续感叹号往往是强烈情绪的标记，尤其对负面情感有很强的指示作用。正确的做法是把连续标点压缩成一个带计数的标记，比如“！”连续出现超过3次，就替换成一个特殊token，而不是直接删掉。
2.2 中文分词与停用词的取舍
中文没有天然空格，分词是绕不开的一步。这里有一个很多教程不会强调的点：分词的粒度直接影响情感表达。
举个例子，“这部电影很烂”和“这部电影很烂很烂”，分词后“很烂”作为一个整体比单独拆成“很”“烂”更能保留情感强度。所以分完词之后，我通常会做一步“情感短语合并”，把否定词和情感词的常见组合（比如“不好”“极差”）作为一个整体特征保留。
停用词表更是个大坑。通用的中文停用词表会把“不”“没”“别”这些否定词一并去掉，但否定词在情感分析里是核心特征。“不快乐”去掉“不”就变成“快乐”，情感直接反转。我的做法是：先保留否定词表，统计它们在样本中的分布，再决定要不要加入停用词表。经验是，凡是否定词一律不进停用词表，同时把“电影、这部、真的”这类高频但无情感信息的词加入。
2.3 构造扩展特征：评论长度、标点密度、情感词命中数
模型不只是吃分词结果，一些浅层的统计特征往往能带来可观的提升。我在这类项目里常用的扩展特征有三类：
- 评论长度：字数、词汇数、句数。短评往往情绪直接，长评可能带更多描述和转折。
- 标点密度：感叹号数量、问号数量、省略号数量。感叹号密度和情感强烈程度高度相关。
- 情感词典命中数：准备一份常见的中文情感词典（正面词、负面词各一份），统计每条评论命中了多少个正面词、多少个负面词。
这三个特征构造成本极低，但实测对中性类别的召回率有稳定提升。原因也好理解：模型从原始文本里学到的情感信号不够集中，这些统计特征直接把情感信息拉到显性位置，尤其对小数据集很有效。
3. 特征工程：词袋、TF-IDF与词向量的三层选择
3.1 TF-IDF为什么比词袋更好用
文本特征工程最朴素的做法是词袋模型：统计每个词在文档里的出现次数，构成高维稀疏向量。词袋模型的问题在于，高频但无信息量的词（“电影”“这部”“觉得”）会拿到很高的权重，把真正的情感词给淹没。
TF-IDF就是来解决这个问题的。它的核心逻辑是：一个词在单篇文档里出现得越多，说明它对这篇文档越重要；但它在整个语料里出现得越普遍，说明它的区分能力越弱。两者相权，既高频又普遍的词（比如“电影”）权重被压低，低频但集中的词（比如“烂片”）权重被拉高。
实现逻辑大致是这样：
# 伪代码：TF-IDF特征构建的核心思路 def compute_tf(term, doc): return doc.count(term) / len(doc) def compute_idf(term, corpus): doc_count = sum(1 for doc in corpus if term in doc) return math.log(len(corpus) / (1 + doc_count)) def compute_tfidf(term, doc, corpus): return compute_tf(term, doc) * compute_idf(term, corpus)实际使用不用自己手写，主流的机器学习库都有现成实现。要注意的是两个超参数：最大特征数和n-gram范围。我常用的是设置最大特征数2万到5万之间，n-gram范围设为(1, 2)，也就是保留单个词和相邻两个词的组合。加了二元词组之后，“不好”能和“好”区分开，效果提升非常明显。
3.2 什么时候上词向量
TF-IDF虽然好用，但它本质上还是孤立的词表示，丢失了词与词之间的语义关联。“烂”和“差”在不同评论里表达相近情感，但词袋和TF-IDF把它们当成完全独立的特征维度。
词向量方案能解决这个问题。核心做法是：先用大规模语料预训练得到词的稠密向量表示，再把一条评论的多个词向量合并成句向量。合并方式可以是简单平均，也可以是加权平均。
但我要泼一盆冷水：小数据集上，词向量并不一定比TF-IDF强。词向量需要足够多的标注数据才能发挥语义泛化优势。几千条样本的场景，我实测过多次，TF-IDF加线性模型的组合反而是最稳的。词向量更适合的场景是数据规模到几万条以上，或者你准备上深度模型的时候。
3.3 特征拼接与维度控制
一个实用的策略是把两组特征拼接起来：TF-IDF特征加扩展统计特征。但直接拼接会带来维度爆炸问题，统计特征只有几个维度还好，TF-IDF如果设置到几十万维就会很吃力。
实际操作上，我一般分两步：先对TF-IDF特征做降维（比如截断SVD降到两三百维），再和统计特征拼接，最后统一做标准化。训练速度和模型稳定性都比直接上高维特征好很多。这一步做完，特征工程的80%工作就到位了。
4. 模型选型与训练细节：Softmax背后的多分类逻辑
4.1 为什么用Softmax而不是多个Sigmoid
做二分类的时候，输出层通常是一个神经元加Sigmoid，输出一个0到1之间的概率值。但到三分类的时候，很多新手会想“那就三个神经元，各自输出一个概率呗”。这种做法在技术上是错的——三个独立的Sigmoid输出，每个都在0到1之间，但它们加起来不等于1，模型无法表达“三个类别互斥”这个事实。
正确的做法是Softmax。Softmax的核心作用是把多个输出值变成一组和为1的概率分布。一条评论不可能同时是“正面”和“负面”，这种互斥关系正是Softmax的适用场景。如果用了多个Sigmoid，模型实际上在做一个多标签分类假设，这在情感分析里是错误的建模。
对应的损失函数也要换。二分类常用二元交叉熵，多分类互斥场景要用多分类交叉熵。如果框架默认的损失和输出层不匹配，训练会收敛得很慢甚至不收敛。
4.2 从Baseline到深度模型的升级路径
我建议所有做这个项目的人，先跑一组简单的Baseline，再考虑复杂模型。
Baseline两件套：逻辑回归加TF-IDF特征、朴素贝叶斯加词袋特征。这两个模型各有特点：逻辑回归训练快、系数可解释，能直接看到哪些词被赋予了正面/负面权重；朴素贝叶斯对小样本更友好，但特征独立性假设在文本场景下并不成立。
Baseline跑通之后，再决定要不要上深度模型。这个项目的深度模型路线通常是：
- 浅层CNN：适合捕捉局部词组模式，训练快。
- 循环神经网络结构：适合长文本的序列依赖，但训练慢、容易过拟合。
- 预训练语言模型：效果最好，但对硬件和数据量要求高，微调成本也不低。
我有一个很实际的建议：如果Baseline的macro-F1已经到0.85以上，先别急着换深度模型，而是回去看错误样本。很多时候，瓶颈在数据不在模型。
4.3 训练参数与类别不均衡处理
训练细节里最值得说的是类别不均衡的处理。常见的办法有三种：
- 对少数类样本做过采样，简单但容易过拟合。
- 在损失函数里给少数类更高的权重，这是性价比最高的方法，主流框架里通常只需要设置一个类别权重参数就能实现。
- 收集更多少数类数据，治本但成本最高。
我实测下来，第二个方法在一个中性样本占比只有12%的数据集上，把中性类的F1从0.21拉到了0.57，效果非常显著。代价是正面类的F1轻微下降，但整体macro-F1是明显提升的。
其他参数上，我的经验值是：批次大小32到64，学习率初始值1e-3并用早停法控制过拟合，训练轮数不要死定，以验证集指标不再上升为准。情感分析文本长度不均匀，padding长度一般取256就够，太长反而浪费算力。
5. 评估指标与混淆矩阵：准确率会骗人，F1才是朋友
5.1 macro-F1与weighted-F1怎么选
多分类情感分析最常见的败笔就是只看准确率。在类别不均衡的数据上，准确率会被多数类拉高，哪怕模型把中性类全部猜错，准确率也可能有70%以上。
正确做法是看F1分数，而且要分清macro和weighted的区别：
- macro-F1：每个类别单独算F1，再取平均。它不关心类别样本量，对少数类更敏感，更能暴露模型在少数类上的短板。
- weighted-F1：按样本量加权，更符合整体业务效果，但少数类的问题容易被掩盖。
我建议两个都看。业务上关心整体用weighted-F1，模型诊断上关心少数类用macro-F1。如果两者差距很大，说明模型对少数类的处理有严重问题。
5.2 读混淆矩阵：错分集中在哪些类别
混淆矩阵是比F1更细的诊断工具。三分类的混淆矩阵是一个3乘3的表，第i行第j列代表“真实类别是i，预测成了j”的样本数。
我第一次做三分类的时候，混淆矩阵显示了一个非常典型的现象：真实类别是中性的样本，大量被预测成正面，但被预测成负面的很少。这说明模型把“中性”当成了一个“不确定的正面”，而不是一个独立的类别。原因是训练数据里中性样本太少，模型压根没见过足够多的中性表达模式。
这个诊断结论直接决定了后面的方向：不是去调模型结构，而是去补充中性样本。这个思路比盲目换一个更大的模型要有效得多。
5.3 阈值调整的实战操作
多分类的决策默认是“取Softmax输出最大的类别”，这在类别不均衡时会吃亏。比如正面样本输出概率普遍偏高，中性样本即使正确也被压低，导致中性很难胜出。
一个被低估的优化手段是阈值调整：对每个类别分别设置一个阈值，只有当该类别概率超过阈值时才判定为该类，否则归为“不确定”或走规则兜底。实际操作中，我会在验证集上遍历不同阈值组合，找到一个让macro-F1最大的配置。这个方法在类别不均衡场景下，往往比调模型参数更直接、更快见效。
6. 错误分析：把预测错的评论翻出来看
6.1 三类典型错误案例
训练完成后，把预测错误的样本单独抽出来逐条看，是个费时间但回报极高的工作。做得多了你会发现，错误往往集中在几个固定的模式上。
| 错误模式 | 典型评论 | 真实情感 | 模型预测 | 失败原因 | | 反讽与反语 | “烂到这个程度也算一种才华” | 负面 | 正面 | 字面正面词掩盖了讽刺意图 | | 否定结构 | “不是不好，是太好了” | 正面 | 负面 | 连续否定结构混淆模型 | | 条件假设 | “如果结尾不崩，这片能封神” | 负面 | 中性 | 假设句式扰乱了情感判断 |
这三种错误里，反讽最难处理，目前没有任何一个模型能稳定解决，只能靠数据堆叠。否定结构可以通过之前说的“否定词+情感词合并”来缓解。条件假设类的错误则说明模型没有理解从句和主句的关系。
6.2 数据增强与半监督扩充
错误分析之后，很多人急着换更强的模型，但我更建议先试试数据增强。
文本数据增强里最实用的是同义词替换和回译。同义词替换是找到评论文本里的词汇，用同义词或近义词替换，生成新的样本；回译是把中文翻译成另一种语言再翻译回中文。回译的效果通常比同义词替换好，因为生成的句子更自然多样，但成本更高。
另一种思路是半监督扩充：用训练好的模型去预测大量无标签影评，把预测置信度超过0.95的样本自动加入训练集。我实测过，这种方法能有效缓解标注数据不足的问题，但要定期检查自动标注样本的质量，否则会在训练集里沉淀系统性错误。
6.3 从实验到可用的推理接口
项目做完之后，如果想让别人能用，或者部署到线上，还需要做一些工程化工作。
这里有几个需要注意的点。第一，推理时的文本预处理必须和训练时完全一致，包括清洗、分词、特征拼接，任何不一致都会导致效果下降。第二，长文本要截断到训练时的固定长度，不能超长输入。第三，单个接口处理多条文本时，建议做批量推理而不是循环逐条调用，吞吐量能差好几倍。
另外，保存模型的同时一定要保存对应的配置信息：词表、特征维度、清洗规则、阈值参数，最好作为配置文件一并存储。宁可多存不要少存，我之前就因为丢失了阈值配置文件，重新调阈值花了一整个下午。
最后的一点实操体会
做这个项目最花时间的不是模型，是数据清洗、标签校准和错误分析这三件事。很多人急着把模型跑出来，结果被一个脏数据带偏了模型，反过头去调参调了好久才发现是数据问题。我的建议是：所有环节里，花在错误分析上的时间永远不要压缩，它是整个项目里最具杠杆作用的一步。
另外，这个项目做完之后还有不少可以扩展的方向：把三分类换成五分类做细粒度情感判断，或者加入评论文本里的评分星级做多任务学习。但前提是先把三分类这条链路彻底走通、走稳，基础扎实了再往上搭，效果会好很多。
