简介：这份资源面向新闻文本情感分析方向的初学者与算法实践者，提供一套可运行的完整项目代码，用于对新闻语料进行情感倾向计算。项目以TF-IDF完成文本向量化，结合余弦距离度量文本相似度，并引入情感依存分析思路，配套DOC文档给出数学模型说明，便于理解算法原理与实现细节。压缩包共11个文件，包含7个Python脚本、2个YAML配置、1个Markdown说明及1张模型示意图，脚本分别承担语料处理、TF-IDF计算、情感值计算与句子抽取等任务，配置与说明文档辅助快速上手，整体约88KB，轻量易部署。目前已有839人学习下载。读者可借此掌握从语料读取、特征提取到情感判定的完整流程，理解TF-IDF与余弦距离在文本分析中的配合方式，并参考目录结构自行扩展数据集或替换算法模块，适合作为课程设计、毕业项目或算法练手的参考实现。
1. 计算新闻文本类情感分析：从 TF-IDF 到情感依存的落地路径
新闻文本的情感分析和电商评论、社交媒体短文本完全不是一回事。电商评论里“质量太差”“物流很快”这种句子，情感词和评价对象挨得很近，一个词典加规则就能跑出不错的结果。但新闻文本讲究客观叙述，情感往往藏在措辞选择、信源引用和事件框架里，比如“某地发生冲突”和“某地爆发冲突”，一字之差，情感倾向就变了。更麻烦的是，新闻里大量出现“据消息人士称”“有分析认为”这类转述结构，情感主体和情感表达之间隔了半句话，单纯靠词频统计很容易翻车。
这个方向要解决的问题很具体：给定一批新闻文本，判断每篇的整体情感倾向（正面、负面、中性），并且能定位到是哪些句子、哪些词在驱动这个判断。适合谁做？做舆情监测的团队、做媒体内容分析的从业者、以及需要处理中文新闻语料的研究人员。技术路线上，TF-IDF 负责把文本变成可计算的向量，余弦距离负责衡量文本之间的相似度，情感依存分析负责把句法结构里的情感关系抽出来。三者配合，比单独用任何一个都稳。下面按“先立住原理、再动手复现、最后避坑”的顺序展开。
2. 新闻情感分析的特征工程：TF-IDF 怎么调才不白干
2.1 为什么新闻文本不能直接套用评论区的 TF-IDF 参数
TF-IDF 的核心思想是：一个词在当前文档里出现越多、在整个语料里出现越少，它就越能代表这篇文档。公式本身不复杂，但参数选择直接决定结果好坏。新闻语料有几个特点：用词规范、长句多、专有名词密集、情感词占比低。如果直接拿 sklearn 的TfidfVectorizer默认参数跑，你会发现大量高频词是“记者”“报道”“表示”“认为”这类中性词，它们 TF 高但 IDF 不够高，反而挤占了真正有情感区分度的词的空间。
我一般会做三件事：第一，自定义停用词表，把新闻套话全部加进去，比如“据悉”“记者了解到”“相关负责人表示”；第二，调整max_df和min_df，max_df=0.85过滤掉超过 85% 文档都出现的词，min_df=3过滤掉出现少于 3 次的低频噪声；第三，考虑 n-gram 范围，新闻里“不+动词”这种否定结构很关键，ngram_range=(1,2)能捕捉到“不支持”“不同意”这类二元组。
from sklearn.feature_extraction.text import TfidfVectorizer import jieba # 新闻领域自定义停用词，按实际语料补充 news_stopwords = set([ "记者", "报道", "据悉", "表示", "认为", "相关", "负责人", "消息", "来源", "编辑", "责任编辑", "新华社", "日电" ]) def tokenize_news(text): # 结巴分词后过滤停用词和单字 words = jieba.lcut(text) return [w for w in words if w not in news_stopwords and len(w) > 1] vectorizer = TfidfVectorizer( tokenizer=tokenize_news, max_df=0.85, # 过滤过于通用的词 min_df=3, # 过滤低频噪声 ngram_range=(1, 2), # 捕捉否定短语 sublinear_tf=True, # 对 TF 做对数缩放，抑制高频词 norm='l2' # L2 归一化，配合余弦距离 ) tfidf_matrix = vectorizer.fit_transform(news_corpus)这段代码的关键在sublinear_tf=True和norm='l2'。新闻里同一个词可能在一篇长报道里反复出现，线性 TF 会让这个词的权重虚高，对数缩放能压住这个效应。L2 归一化则是为了让后续余弦距离计算不受文档长度影响——新闻长短差异极大，短讯几百字，深度报道上万字，不归一化的话长文档会主导整个相似度矩阵。
参数怎么改？如果语料里专有名词特别多（比如财经新闻里的公司名、人名），可以把min_df降到 2，避免把关键实体过滤掉。如果发现结果里还是有很多通用词干扰，把max_df降到 0.7 试试。ngram_range上到 (1,3) 会显著增加特征维度，新闻语料本身不大（通常几千到几万篇）的话可以试，但要注意内存。
2.2 余弦距离在新闻相似度计算中的正确用法
TF-IDF 把每篇新闻变成一个高维稀疏向量，接下来要衡量两篇新闻有多像，或者一篇新闻和某个情感种子词集有多近。余弦距离在这里比欧氏距离合适，因为它只看方向不看长度——两篇新闻用词分布相似但篇幅差十倍，余弦相似度依然接近 1。
实际落地时有两个场景。场景一：找相似新闻做聚类或去重。场景二：计算新闻与正面/负面种子词集的相似度，作为情感打分的一个特征。场景二更贴近情感分析的需求。
from sklearn.metrics.pairwise import cosine_similarity import numpy as np # 假设已有正面种子词集和负面种子词集 pos_seeds = ["增长", "改善", "突破", "合作", "稳定", "提升"] neg_seeds = ["下降", "冲突", "事故", "亏损", "恶化", "制裁"] # 把种子词集也转成 TF-IDF 向量（用同一个 vectorizer） pos_vec = vectorizer.transform([" ".join(pos_seeds)]) neg_vec = vectorizer.transform([" ".join(neg_seeds)]) # 计算每篇新闻与正负种子集的余弦相似度 pos_sim = cosine_similarity(tfidf_matrix, pos_vec).flatten() neg_sim = cosine_similarity(tfidf_matrix, neg_vec).flatten() # 情感得分：正面相似度减负面相似度 sentiment_score = pos_sim - neg_sim这里有个容易踩的坑：种子词集必须用同一个vectorizer做transform，不能重新fit。因为 TF-IDF 的 IDF 值是从训练语料里学出来的，重新 fit 会导致词表不一致，相似度计算直接失效。另外，种子词的选择要结合具体新闻领域，财经新闻的正面词和时政新闻的正面词差别很大，不能一套词表打天下。
sentiment_score的阈值怎么定？不要拍脑袋。拿一批人工标注过的新闻做验证集，画 ROC 曲线找最佳切分点。我一般会把得分分成五档：大于 0.15 强正面，0.05 到 0.15 弱正面，-0.05 到 0.05 中性，-0.15 到 -0.05 弱负面，小于 -0.15 强负面。这个分档不是绝对的，要根据语料分布调整。
提示：余弦相似度对稀疏向量的计算效率很高，但如果新闻数量超过十万篇，
cosine_similarity的全量矩阵会吃光内存。这时候改用NearestNeighbors做近似最近邻搜索，或者分批计算。
3. 情感依存分析：把句法结构里的情感关系抽出来
3.1 依存句法为什么能补上 TF-IDF 的短板
TF-IDF 加余弦距离能给出一个整体倾向，但它有个硬伤：分不清情感的主体和对象。举个例子，“公司利润下降导致股价下跌，但分析师认为长期看好”——TF-IDF 会同时抓到“下降”“下跌”“看好”，正负抵消后可能判成中性，但实际上这句话的核心情感是负面的，因为“看好”是转述观点，不是事实陈述。依存句法分析能解决这个问题：它把句子拆成“主谓宾”“修饰关系”“否定修饰”等结构，让我们知道哪个词在修饰哪个词，情感是挂在哪个成分上的。
中文依存句法分析常用的工具是 LTP（语言技术平台）和 HanLP。LTP 的pyltp版本安装略麻烦，HanLP 的 Python 接口更友好一些。下面用 HanLP 做依存分析，提取“情感词-修饰关系-评价对象”三元组。
import hanlp # 加载依存句法分析模型 dep_parser = hanlp.load(hanlp.pretrained.dep.CTDP_BIAFFINE_DEP_ZH) def extract_sentiment_triples(sentence): """ 从句子中提取情感三元组 返回格式: [(评价对象, 情感词, 依存关系)] """ doc = dep_parser(sentence) triples = [] words = doc['tok/fine'] heads = doc['dep/head'] rels = doc['dep/rel'] for i, (word, head, rel) in enumerate(zip(words, heads, rels)): # 找情感词（这里简化处理，实际应结合情感词典） if word in sentiment_lexicon: # 找它的修饰对象 for j, (w2, h2, r2) in enumerate(zip(words, heads, rels)): if h2 == i and r2 in ('nsubj', 'dobj', 'amod'): triples.append((w2, word, r2)) return triples # 示例 sentence = "公司利润大幅下降导致股价持续下跌" triples = extract_sentiment_triples(sentence) # 输出可能包含: [('利润', '下降', 'nsubj'), ('股价', '下跌', 'nsubj')]这段代码的逻辑是：先找到情感词，再通过依存关系找到它的主语、宾语或修饰对象。nsubj是名词主语，dobj是直接宾语，amod是形容词修饰。实际使用时，情感词典要自己构建或引入外部词典（如知网 HowNet 情感词典），依存关系标签体系也要根据所用工具的标注规范调整。
参数方面，HanLP 的依存分析模型对长句的处理会截断，默认最大长度 512 个 token。新闻句子通常不会超，但如果是整段输入，需要先分句。分句用re.split(r'[。！？；]', text)就行，注意保留标点做边界判断。
3.2 把依存三元组和 TF-IDF 得分融合的两种策略
单独用依存分析也有问题：它依赖句法解析的准确率，而中文新闻里长句、嵌套句多，解析错误会直接传导到情感判断。所以我的做法是把依存三元组作为 TF-IDF 得分的修正项，而不是替代项。融合策略有两种。
策略一：加权求和。TF-IDF 得分给 0.6 权重，依存分析得分给 0.4 权重。依存分析得分怎么算？统计三元组里正面情感词和负面情感词的数量差，再除以总情感词数做归一化。
策略二：规则修正。当 TF-IDF 判为中性但依存分析发现明确的“负面词+主语”结构时，把结果修正为弱负面。反过来，如果 TF-IDF 判为负面但依存分析显示负面词都在“否认”“驳斥”的辖域内，就修正为中性或正面。
def fuse_scores(tfidf_score, dep_triples, sentiment_lexicon): """ 融合 TF-IDF 得分和依存分析结果 """ pos_count = 0 neg_count = 0 for subj, sentiment_word, rel in dep_triples: if sentiment_word in sentiment_lexicon['positive']: pos_count += 1 elif sentiment_word in sentiment_lexicon['negative']: neg_count += 1 total = pos_count + neg_count if total == 0: dep_score = 0.0 else: dep_score = (pos_count - neg_count) / total # 加权融合 final_score = 0.6 * tfidf_score + 0.4 * dep_score # 规则修正：TF-IDF 中性但依存分析有明确倾向 if abs(tfidf_score) < 0.05 and abs(dep_score) > 0.3: final_score = dep_score * 0.5 return final_score权重 0.6 和 0.4 不是固定的，如果你的语料句法结构比较规范（比如官方新闻稿），可以把依存权重提到 0.5。如果语料偏口语化或碎片化，依存解析质量下降，就把 TF-IDF 权重提到 0.7。规则修正里的阈值 0.05 和 0.3 也要根据验证集调整。
注意：依存分析对否定词的处理要特别小心。“不认为公司会亏损”里，“不”修饰的是“认为”，不是“亏损”，如果简单按情感词计数会误判。需要在依存树上追踪否定词的辖域，这步用
neg依存关系标签来判断。
4. 避坑与排查：新闻情感分析里最容易翻车的五个地方
4.1 现象：模型在测试集上 F1 很高，上线后效果断崖式下跌
原因：训练集和线上数据的分布不一致。新闻情感分析里最常见的分布偏移是时间偏移——用去年新闻训练的模型，今年新闻里出现了新的情感表达方式（比如新的网络流行语进入正式报道），TF-IDF 词表里没有这些词，直接失效。另一个原因是来源偏移，训练集全是某一家媒体的稿件，线上要处理几十家媒体的内容，用词风格差异巨大。
解决：第一，定期用新数据重新 fit vectorizer，至少每季度一次。第二，在训练集里刻意混入多家媒体的样本，不要只用单一来源。第三，监控线上推理时 TF-IDF 向量的稀疏度，如果大量文档的非零特征数骤降，说明词表覆盖出了问题，需要触发重新训练。
4.2 现象：依存分析对短句和标题解析结果混乱
原因：新闻标题和导语经常是省略句，没有完整的主谓结构。比如“股市震荡 投资者恐慌”，依存分析可能把“震荡”和“恐慌”都挂到同一个主语上，或者干脆解析失败。HanLP 和 LTP 的模型都是在完整句上训练的，对省略句的鲁棒性有限。
解决：对标题和导语单独处理，不要走依存分析流程。标题的情感判断用 TF-IDF 加情感词典就够了，因为标题通常短，情感词密度高，不需要句法结构辅助。如果一定要用依存分析，先做句子补全，把省略的主语补上，但补全本身又可能引入错误，所以我的建议是标题走轻量流程。
4.3 现象：余弦相似度计算时内存溢出
原因：cosine_similarity返回的是 N×N 的稠密矩阵，N 是新闻数量。一万篇新闻就是 1 亿个浮点数，约 800MB；十万篇就是 80GB，直接爆内存。
解决：不要一次性算全量相似度矩阵。如果目的是找每篇新闻最相似的 K 篇，用sklearn.neighbors.NearestNeighbors的kneighbors方法，它内部用树结构或近似算法，内存占用是 O(N×K) 而不是 O(N²)。如果目的是聚类，用MiniBatchKMeans代替KMeans，分批处理。如果非要全量矩阵，用scipy.sparse的稀疏矩阵存储，但余弦相似度结果通常不是稀疏的，所以还是推荐前两种方案。
4.4 现象：情感词典覆盖不全，大量新闻被判为中性
原因：通用情感词典（如知网 HowNet）在新闻领域覆盖率不够。新闻里很多情感表达是隐性的，比如“环比持平”其实是中性偏正面（没有恶化），“不及预期”是负面但词典里可能没有。另外，新闻里大量使用中性动词表达负面含义，比如“下调”“收紧”“承压”，这些词在通用词典里可能没有情感标注。
解决：构建领域情感词典。方法是从标注语料里用 TF-IDF 提取高区分度词，人工审核后加入词典。具体做法：把标注为正面和负面的新闻分别合并成两个大文档，计算每个词在两个文档里的 TF-IDF 差值，差值大的词就是候选情感词。人工过一遍，把“下调”“承压”“收紧”这类词加进去。这个过程迭代两三轮，词典覆盖率能明显提升。
4.5 现象：否定词和双重否定导致情感极性反转错误
原因：TF-IDF 是词袋模型，完全不考虑词序。“不看好”和“看好”在词袋里都有“看好”，TF-IDF 得分几乎一样。依存分析虽然能处理否定，但如果否定词和情感词之间隔了多个词，依存关系可能断掉。
解决：在 TF-IDF 之前做否定词处理。常见做法是“否定词前缀”策略：扫描文本，遇到否定词就把后面 N 个词（N 通常取 3）加前缀“NOT_”，比如“不 看好”变成“不 NOT_看好”。这样“NOT_看好”就成了一个独立的特征，和“看好”区分开。N 的取值要实验，太小覆盖不全，太大引入噪声。我一般从 3 开始试，根据验证集 F1 调整。
5. 进阶技巧：用剪枝思路压缩 TF-IDF 特征维度并保持精度
TF-IDF 在新闻语料上跑出来的特征维度很容易上万，如果语料大，几万维也正常。高维带来的问题是训练慢、内存高、容易过拟合。剪枝算法的思路在这里可以借用：不是所有特征都值得保留，把贡献小的特征砍掉，精度未必下降。
具体做法分三步。第一步，用卡方检验或互信息做特征选择，保留 top K 个特征。sklearn.feature_selection.chi2可以直接用，K 取 5000 到 10000 之间通常够用。第二步，对保留的特征做方差过滤，把方差接近 0 的特征去掉——这些特征在所有文档里取值几乎一样，没有区分度。第三步，用 TruncatedSVD 做降维，把稀疏的 TF-IDF 矩阵压到 200 到 500 维的稠密矩阵，再喂给分类器。
from sklearn.feature_selection import SelectKBest, chi2 from sklearn.decomposition import TruncatedSVD from sklearn.pipeline import Pipeline pipeline = Pipeline([ ('tfidf', TfidfVectorizer( tokenizer=tokenize_news, max_df=0.85, min_df=3, ngram_range=(1, 2), sublinear_tf=True, norm='l2' )), ('select', SelectKBest(chi2, k=8000)), # 卡方选择 top 8000 ('svd', TruncatedSVD(n_components=300)), # 降到 300 维 ]) X_reduced = pipeline.fit_transform(news_corpus, labels)这套流程下来，特征维度从几万降到 300，训练速度提升一个数量级，精度通常只掉 1 到 2 个百分点。如果精度掉太多，把k提到 15000，n_components提到 500。注意SelectKBest需要标签labels做监督选择，如果没有标签，改用VarianceThreshold做无监督过滤。
验证这套流程是否有效，不能只看准确率。新闻情感分析里类别不平衡很常见（中性新闻占大多数），准确率会被中性类主导。要看宏平均 F1 和各类的召回率。我一般会画混淆矩阵，重点看正面和负面之间的误判——这两类互相误判的代价比误判成中性高得多。
还有一个技巧：把 TF-IDF 得分和依存分析得分做后期融合时，不要用固定权重，用逻辑回归学一个权重。把两个得分作为两个特征，用标注数据训练一个逻辑回归，让模型自己决定怎么组合。这样比手工调权重稳，而且能给出特征重要性，方便排查问题。
最后说一个我踩过的坑：新闻语料里经常混入大量非新闻内容，比如网站导航文字、版权声明、广告。这些文本会污染 TF-IDF 词表，让 IDF 值失真。清洗时不要只靠正则，用新闻正文提取工具（如newspaper3k或goose3）先抽正文，再进情感分析流程。这一步花的时间，比后面调参省下来的时间多得多。
希望帮到你。
本文还有配套的精品资源，点击获取
