简介：面向自然语言处理研究者与情感分析开发者的SemEval-2014 Task 4标准评测数据集，专注于餐厅与笔记本电脑两个真实领域的细粒度情感分析和方面级情感分析任务。压缩包内共11个文件，以10个XML标注文件为主体，配1份PDF标注指南，整体仅1.31MB，下载与解压都非常轻量。数据划分完整，训练集、验证集（trial）、PhaseA与PhaseB两阶段测试集一应俱全；XML内逐句给出了评论对应的方面类别、方面词及情感极性标签，可直接支撑情感目标抽取、情感极性判断、情感词典构建，以及RNN、LSTM、BERT等深度学习模型的训练、调参与性能评估。随附PDF详细解读了标注规则与评测指标，可帮助研究者快速理解格式、复现实验，并与当年国际评测结果进行对照。目前已有1220人学习，非常适合希望入手方面级情感分析或构建中英文情感基准的入门及进阶学习者。
1. 情感分析绕不开的评测基准：这份 SemEval-2014 Task 4 数据集到底解决什么问题
做自然语言处理尤其是情感分析的人，早晚会撞上 SemEval-2014 Task 4 这个名字。它不是一份普通的数据集，而是当年国际语义评测竞赛里被引用最多的任务之一：给定一条用户评论，要求模型不光判断整句是正向还是负向，还要识别出评论里每个目标（aspect）对应的情感极性。比如“手机屏幕很清晰，但电池续航太差”，整句情绪很复杂，传统文本分类直接懵，而 Task 4 的设定逼着你去拆目标、拆情感，这也是今天很多方面级情感分析模型的标准起点。这份打包好的数据集适合正在做情感分类、属性级情感分析、或者想复现经典论文的实验党，也适合想用真实标注数据检验自己模型鲁棒性的从业者。下载下来解压就能用，省去自己翻官网、凑压缩格式的麻烦，下面我从数据格式、任务拆分到复现细节一条条说清楚。
2. 任务结构与数据格式：先搞明白四个子任务和一套 XML
2.1 为什么 SemEval-2014 Task 4 成为方面级情感分析的默认测试集
在深度学习还没完全统治 NLP 的年代，评测任务需要足够细的粒度来区分系统能力。Task 4 把评论拆成四个子任务：A 是句子级情感分类，B 是方面词抽取，C 是方面词情感极性判断，D 是成对输出方面词和极性。现在大家最常复用的是 Task 4 里的子任务 B 和子任务 C，因为它们在解决“谁在说、说得怎么样”这个组合问题。整个任务的语料来自两个领域：笔记本电脑评论和餐厅评论，每个领域的训练集、测试集都有独立的 XML 文件，标签体系包含 positive、negative、neutral 以及一个特殊的 conflict 标签，表示句子内外对同一目标有矛盾情绪。这个设计非常考验模型对局部上下文的建模能力，也直接推动了后来基于 attention 的很多经典做法。
2.2 动手拆解 XML：先看一个真实样本长什么样
解压数据集后你会看到类似这样的目录结构：
SemEval-2014-Task4/ ├── Laptop_Train.xml ├── Laptop_Test.xml ├── Restaurants_Train.xml └── Restaurants_Test.xml打开任意一个 XML 文件，核心结构长这样：
<Review rid="1"> <sentences> <sentence id="1"> <text>I love the screen but hate the battery life.</text> <aspectTerms> <aspectTerm term="screen" polarity="positive" from="7" to="13"/> <aspectTerm term="battery life" polarity="negative" from="28" to="40"/> </aspectTerms> </sentence> </sentences> </Review>这段代码说明这是一条包含两个方面的句子，“screen”对应积极，“battery life”对应消极。from 和 to 是字符级别的偏移，用于在原文中定位方面词。如果你要训练一个序列标注模型来做方面词抽取，这个偏移就是构造 BIO 标签的直接依据。常见做法是先把 text 分词，再根据偏移把每个 token 标记为 B、I、O。还有一个容易忽略的点：有些句子没有 aspectTerms，也就是空标签。这类样本在训练时如果你直接忽略等于丢弃负样本，会导致模型在测试时倾向于什么都抽出来，所以一定要保留这些不包含方面词的句子。
2.3 训练集和测试集比例：一个直接影响你调参的资源事实
资源里默认的训练测试划分很经典，但数量不大。笔记本电脑领域训练集约 3045 条句子，测试集约 800 条；餐厅领域训练集约 3041 条，测试集约 800 条。这个规模在今天的大模型时代算小体量，但正因如此，它是检验模型泛化能力的好工具。我之前在某个跨平台系统项目里尝试用 Roberta 直接跑这套数据，效果确实比 BiLSTM 高出一截，但小数据集上很容易过拟合，需要配合早停和 dropout 调整。也有很多人把训练集和测试集合在一起重新划分做交叉验证，这种做法在论文里可以作为补充实验，但如果做基准对比，还是要沿用官方的划分，否则别人没法复现你的数字。
3. 从 XML 到模型输入：写一个通用的数据解析与标签转换脚本
3.1 把 XML 解析成 JSON 的工具函数
面对这份数据，第一步不是急着建模，而是把 XML 转成你熟悉的 JSON 或者直接转为训练时用的数据加载器要的格式。下面这个 Python 脚本基于 xml.etree.ElementTree 把两个领域的数据统一转换成包含句子文本、方面词列表和极性标签的字典数组。
import xml.etree.ElementTree as ET import json def parse_semeval2014_task4(xml_path): tree = ET.parse(xml_path) root = tree.getroot() samples = [] for review in root.iter('Review'): for sentence in review.iter('sentence'): text = sentence.findtext('text') aspects = [] for aspect in sentence.iter('aspectTerm'): aspects.append({ 'term': aspect.get('term'), 'polarity': aspect.get('polarity'), 'from': int(aspect.get('from')), 'to': int(aspect.get('to')) }) if not aspects: # 保留无方面词的句子，训练时会作为负样本 aspects = [{'term': None, 'polarity': None, 'from': None, 'to': None}] samples.append({'text': text, 'aspects': aspects}) return samples laptop_train = parse_semeval2014_task4('Laptop_Train.xml') print(json.dumps(laptop_train[:2], ensure_ascii=False, indent=2))这段逻辑里最关键的是if not aspects分支。很多开源代码在这里直接 append 一个空列表，最终训练时只挑有方面词的句子，这是翻车重灾区。我一般会把无方面词句子的 aspects 置为[{'term': None, ...}]，然后在构造训练特征时单独加一个标志位，让模型学到“这句话没有任何目标”的能力。polarity 字段保留字符串形式还是转成整数索引，取决于你下游用什么损失函数，一般多分类任务直接映射 {positive:0, negative:1, neutral:2, conflict:3}。
3.2 构造 BERT 风格的输入：token 级对齐是最大的坑
如果你计划用 BERT 或者它的变体跑子任务 C，那么你需要自己写 tokenization 并对齐偏移。官方 XML 里 from/to 是基于原始字符的，但 BERT 的 WordPiece 分词会把词拆成子词，直接按原始偏移取 token 一定出错。常见做法是用字符映射法：对原始文本逐个字符做 token 到字符索引的映射。
from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') def align_offset_to_token(text, start, end): tokens = tokenizer.tokenize(text) char_to_token = [None] * len(text) idx = 0 for token_idx, token in enumerate(tokens): if token.startswith('##'): token_str = token[2:] else: token_str = token for ch in token_str: if idx < len(text): char_to_token[idx] = token_idx idx += 1 while idx < len(text) and text[idx] == ' ': idx += 1 token_indices = set(char_to_token[start:end]) token_indices.discard(None) return min(token_indices), max(token_indices)这段代码的思路是先把文本按空格切分，再把每个 token 映射回字符位置。注意 BERT 的##前缀表示子词，在映射时要剥掉。如果你写的对齐不处理空格跳过逻辑，出来的 start/end 会全部偏一位，模型拿到的方面词就是错位的。我在第一版实验里直接拿 from/to 除以字符长度再乘 token 长度，结果测试集 F1 直接掉了十几个点，后来换成上面这种逐字符映射才正常。
3.3 子任务 A 到 D 的标签组织方式
不同子任务需要不同的数据组织方式。子任务 A 只需要 sentence 级极性，你可以直接把 aspectTerm 去掉后取多数极性或者文中标注的真值；子任务 B 是序列标注任务，需要把 tokens 和 BIO 标签一一对应；子任务 C 则是一对多的分类，对于每条句子里的每个方面词分别预测极性。实际做联合任务时，很多框架会采用类似下面这样的结构：
# 为了同时支持 B 和 C，构造一个训练样本 sample = { 'tokens': ['i', 'love', 'the', 'screen', 'but', 'hate', 'the', 'battery', 'life'], 'bio_tags': ['O', 'O', 'O', 'B', 'O', 'O', 'O', 'B', 'I'], 'aspects_polarity': [('screen', 0), ('battery life', 1)] # 0为positive，1为negative }这种组织方式的好处是你可以自由切换输出头，一个 batch 里同时算两个任务的损失。唯一的成本是 BIO 标签序列要和 tokens 严格等长，解码序列标注结果后，再用方面词极性预测头对每个抽取出的 span 做分类。如果你的实验只做子任务 C，那你需要把数据格式化成每个方面词独立成一行，文本重复喂给模型，方面词作为额外输入。
4. 模型选型与复现路径：从传统 CRF 到预训练模型怎么搭
4.1 基于 BiLSTM-CRF 的方面词抽取基线
在预训练模型成为默认选择之前，BiLSTM-CRF 是最稳妥的基线。它的原理不难理解：BiLSTM 负责为每个 token 编码上下文信息，CRF 层负责约束标签转移，防止输出类似 “B 后面跟 I 但前面没有 B” 这样的非法序列。对这份小数据集，我的建议是先实现这个基线来验证数据解析代码是否正确。
import torch import torch.nn as nn class BiLSTM_CRF(nn.Module): def __init__(self, vocab_size, tag_size, embedding_dim=100, hidden_dim=256): super().__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim) self.lstm = nn.LSTM(embedding_dim, hidden_dim // 2, batch_first=True, bidirectional=True) self.hidden2tag = nn.Linear(hidden_dim, tag_size) self.crf = CRF(tag_size, batch_first=True) # 使用 torchcrf 或自实现 def forward(self, sentences, tags=None): embeds = self.embedding(sentences) lstm_out, _ = self.lstm(embeds) emissions = self.hidden2tag(lstm_out) if tags is not None: return -self.crf(emissions, tags) # 负对数似然 else: return self.crf.decode(emissions)这个代码片段省略了CRF类的具体实现，实际训练时可以直接用torchcrf包。需要注意的参数是batch_first=True，因为这决定输入的维度顺序，很多刚接触 LSTM 的人在这里踩坑，输入维度顺序写错后训练 loss 不降但也不报错，排查起来很花时间。另外 embedding_dim 对结果影响不大，真正影响大的是 LSTM 层数和 hidden_dim，小数据集上单层就够，两层大概率过拟合。
4.2 用预训练模型跑子任务 C：直接复用 BERT 的句子对输入
如果你不是在做算法对比实验，而是想快速得到一个高准确率的方面级情感分类器，直接用 BERT 的输入结构把“句子”和“方面词”拼成一对，让模型判断情感极性。这是一个很取巧但有效的做法：不单独做抽取，直接预测每个给定方面的极性。
def build_input(text, aspect, tokenizer, max_len=128): text_tokens = tokenizer.tokenize(text) aspect_tokens = tokenizer.tokenize(aspect) tokens = ['[CLS]'] + text_tokens + ['[SEP]'] + aspect_tokens + ['[SEP]'] if len(tokens) > max_len: # 简单截断，也可以使用更精细的滑动截断 tokens = tokens[:max_len] token_ids = tokenizer.convert_tokens_to_ids(tokens) mask = [1] * len(token_ids) while len(token_ids) < max_len: token_ids.append(tokenizer.pad_token_id) mask.append(0) return torch.tensor([token_ids]), torch.tensor([mask])这里的做法是把[CLS] + 原始句子 + [SEP] + 方面词 + [SEP]送进 BERT，然后取[CLS]的 hidden state 接分类器。很多人会以为把这个输入结构改成方面词在中间会更好，但实验做下来并没有一致的优势。注意我在截断时直接用列表切片，这个粗糙操作会丢掉句子的后半段，如果方面词本身在句尾被你截掉了，模型看到的方面词就不完整。更稳妥的做法是先 tokenize 方面词，再截断文本部分，确保方面词保留。
4.3 阵营选择：为什么我推荐你两个方向都搭一版
做一个完整可复现的项目，最忌讳只跑一个模型然后宣称效果好。我建议至少搭两个对比系统：第一版用随机初始化的 BiLSTM-CRF，验证数据管道没问题；第二版用 BERT 句子对模型，验证效果上限。这样当结果出现差异时，你能快速判断是数据问题还是模型问题。而且不要只看整体 F1，要单独报告有方面词的句子和没方面词的句子上的表现，这能暴露模型是否偷懒走捷径。
5. 避坑与常见问题：解析、标签不平衡、conflict 极性与复现怪现象
5.1 现象：XML 解析出来的文本前后多出空格或换行符
原因：原始 XML 里 text 标签内有时带有缩进和换行，尤其当文件是从旧系统导出时。解决：解析后对 text 调用strip()，同时在计算 from/to 时也要把起始偏移考虑进去。如果 text 前面的空格被 strip 掉了，而 from/to 还是旧值，你的方面词定位就会错位。我踩过这个坑，最后是在解析函数里统一text = node.text.strip()，然后把 from/to 减去一个修正量，或者干脆直接用 term 文本在清理后的 text 里做 find。
5.2 现象：模型预测结果里 aspect 全是 positive，negative 一个不中
原因：训练集中 positive 的样本占比接近一半，negative 稍少，neutral 很少，conflict 只有个位数。模型学到输出多数类就能得到不错的效果，所以分类器崩溃到全预测正类。解决：不要用 accuracy 作为判断指标，改用 macro F1，并且在 loss 里给中性类加权重。实际操作上给中立极性 weighted loss 是一种方法，更直接的做法是把 conflict 样本过采样几倍，虽然有限但至少保证模型见过该标签。
5.3 现象：复现论文时 F1 差了好几个点，怎么调都上不去
原因：高频问题是 train/test 数据中句子重复，或者单词的标点符号处理方式不一致。数据集里很多句子以句号结尾，BERT 的 tokenizer 会把句号和前面的词分开，但如果你做简单的空格切分，句号还黏着在词上，就导致边界 token 不一致。解决：所有系统统一使用指定 tokenizer，并且在跑任何模型之前先打印几个样本的 token 序列和标签对齐结果，人工确认无误再训练。我通常在跑完整实验之前写一个inspect_samples函数输出 50 条样本的 token 和标签，保存到日志里留作后期排查证据。
5.4 现象：conflict 标签在测试集里出现得比训练集多，处理不掉
原因：官方任务对 conflict 的定义是同一目标在同一句中出现矛盾和冲突情绪，比如 “味道好但服务差” 针对餐厅整体评价可能就是 conflict。这类样本人工标注一致性差，几乎不可能学好。解决：如果你的目标是实用系统，直接把 conflict 映射成 neutral，或者单独设一个 “mixed” 类并接受低F1；如果你的目标是比赛刷分，那就单独统计冲突类的指标，不要混入总平均，否则所有模型都会被这三五个样本拉低。
5.5 现象：数据量太少，训练 loss 一直震荡不收敛
原因：小数据集上如果 batch size 设太大，比如 32 或 64，一个 epoch 更新次数太少，模型欠拟合；设太小则梯度噪声大。解决：batch size 取 16 或 8，学习率在 5e-5 到 2e-4 之间做三次对比。另一个技巧是做一次网格搜索前先跑一个 epoch 打印每个 batch 的 loss，如果 loss 出现剧烈抖动，说明梯度爆炸或者学习率太高，此时先降低学习率再跑。
6. 进阶用法：用官方评测脚本精确复现指标，以及两套验证集的小技巧
很多人在拿到这份数据集后只跑一个随机分出来的验证集，忽略了官方测试集本身带有评测脚本的遗留版本问题。SemEval-2014 Task 4 当时的官方评分脚本是基于 Perl 的，它计算 B 任务用的是词级别的 matched F1，C 任务用的是方面级准确率加 macro F1。你如果拿现在流行的seqeval库直接算 F1，很可能数值偏差很大。为了让结果和论文里有可比性，我一般会单独写一个评测函数复刻官方规则：抽出来的 aspect span，只有当 term 内容和极性都完全一致时才算预测对，位置只做参考，不允许部分匹配；如果模型预测出一个 span 和真实 span 有重叠但不完全相等，官方脚本会算作错误。所以你调参时尽量用这个严格标准来筛选模型，而不是用 sklearn 里的 classification_report。
另一条经验是给自己再造一套验证集。官方只有训练和测试，但测试集只建议最后跑一次，不能在调参过程中反复使用，否则会过拟合。常见做法是从训练集里按句子为单位随机抽出 10% 到 15% 作为验证集，调参时只在这套验证集上做早停和模型选择，确定好超参数后再把训练集全部喂进去重新训练，最后跑一次官方测试集。这套流程虽然训练时间翻倍，但对这种小数据非常必要。我在做某跨平台系统的子模块时，还用了一个更苛刻的验证方案：按评论来源拆分验证集，也就是把同一家来源的评论尽量分到同一侧，这样可以验证模型的领域适应能力，而不是简单记住来源特点。
另外还有一个实用的数据增强技巧：对句子做简单的同义词替换或者随机 dropout 词来扩充训练集。对于这份数据，最安全的增强方式是保持方面词不动，只替换非方面词位置的词，别动 from/to 偏移，否则就要重新定位导致标注污染。如果你想用回译增强，需要注意回译后 from/to 完全失效，只能重新跑一遍方面词抽取代码。这里我踩过一次：当时拿着增强后的数据直接训练，没检查新语料里的偏移，结果验证集表现好得不真实，一换到官方测试集立刻拉胯。从那以后我每次做增强，都会强制跑一遍随机抽 100 条对齐和极性检查的脚本，输出到文件人工扫一眼再进训练流程。这份数据集虽然是十几年前的产物，但到今天依然是快速验证模型和对比基准最省事的资源之一，花点时间把数据格式摸透，后面能省很多测试集复现的冤枉路，希望帮到你。
本文还有配套的精品资源，点击获取
