1. 文本分析的门槛到底在哪里？为什么这一期笔记值得记
写这篇笔记的时候，我正在跟一组物流客服评价数据较劲。表格里的数值型字段（配送时长、退款金额、客户等级）处理起来很顺手，一看到“评价内容”那一列的文本就犯愁——几百条中文短句挤在一起，既没法直接求平均值，也画不了折线图。身边的同事大多直接跳过这类文本字段，理由是“太麻烦”，但我心里清楚，这些评价文字里藏着真实的问题线索：客户反复提到的“包装破损”“速度慢”“客服态度”都是最直观的业务信号。
这就是文本分析的价值。它不是在跟传统的数据分析比谁更高端，而是解决一个真实问题：把自然语言这种非结构化数据，转换成可以被统计、被建模、被可视化的结构化特征。学会这一套东西，复盘投诉工单、分析问卷填空题、梳理社交平台的用户反馈都能用上。
这期笔记是我“数据分析学习总结笔记”系列的第17篇，核心记录一次完整的文本分析入门案例——从原始文本入手，完成数据清洗、分词、关键词提取、词频统计、词云可视化和朴素情感打分，形成一套可以反复套用的基础流程。整个案例没有高级算法、没有深度模型，用的都是常见Python库，适合刚入门数据分析、想挑战“非数值型数据”的学习者。
先给完全没接触过文本分析的读者一个直观对比，感受一下文本数据分析和传统的表格数据分析在流程上的差异：
| 环节 | 传统结构化数据分析 | 文本分析 |
|---|---|---|
| 数据形态 | 数值、日期、分类字段 | 任意长度的句子、词组 |
| 第一步工作 | 缺失值、异常值检查 | 清洗噪音、去重、统一编码 |
| 核心变换 | 聚合、透视、归一化 | 分词、向量化、特征提取 |
| 常用输出 | 统计表、趋势图 | 词频榜、词云、情感倾向分布 |
很多人在这一关被劝退，是因为习惯性地用“处理数值”的思路去套文本。看到一列句子，先问“能不能转数字”，而不是问“这句子里有哪些内容单元值得统计”。一旦把视角切换到“内容单元”，你自然会进入到分词和词频的世界。
2. 案例选型与整体路线：用商品评论文本做一次完整的分析闭环
我给自己定的案例目标是：拿到一批商品评论原始文本，经过一整套流程，输出三个结论——整体口碑倾向（好评多还是差评多）、用户高频关注点（大家最常提什么）、代表性主题词（正面和负面各自的关键特征）。
刚开始我也想过用学术范儿的数据集练手，比如新闻分类、情感标注语料。实践之后发现入门阶段最合适的其实是商品评论，原因有三：数据量可控、业务语境足够自然，不需要额外背景知识就能判断一条评论的情感倾向。比如“物流很快，包装结实”是好评，“用了三天就出问题”是差评，任何人都有这样的生活直觉，可以随时验证模型输出是否合理。
我把完整的分析链路拆成了六个阶段，后面几章逐一展开：
- 构造或采集一批原始评论文本（入门阶段直接用模拟数据更容易聚焦流程）
- 数据清洗：去重、去除无意义字符、统一文本格式
- 中文分词：把一条长评切成有意义的词语序列
- 过滤停用词：去掉“的”“了”“就”这类高频但无业务含义的词
- 关键词提取与可视化：按词频排序和TF-IDF加权，画出词云
- 朴素情感打分：用正向词表、负向词表和程度词组合，判断评论情绪
这个流程看起来很朴素，但恰恰适合入门。它覆盖了文本分析的绝大部分基础技能，而且每一步都能看到直观的输出——看到词云图谱逐渐成型、情感分数和人工判断基本一致的那一刻，比任何教科书都更能建立信心。
我用的工具就是Python + jieba + pandas + wordcloud + scikit-learn，没有上大模型。原因很简单：入门阶段如果直接套深度学习方案，模型像一个黑盒子，数据在里面的每一步变形都看不透，出了问题也无法判断是数据问题还是模型问题。先用规则和统计手段跑通一个基础流程，后续哪怕上手更复杂的模型，你也能知道那些训练参数到底在优化什么。
3. 环境准备与数据清洗：编码乱码和噪音文本是怎么处理的
3.1 环境清单与安装
实操环境是Python 3.10，建议直接用Anaconda或miniconda管理依赖，省去不少版本冲突的烦恼。需要用到的核心库：
pip install pandas jieba wordcloud matplotlib scikit-learn版本说明一下：jieba基础分词用0.42.1版本即可；wordcloud需要注意图形渲染依赖Pillow和matplotlib；pandas建议选1.5以上版本，能减少一些字符串处理的警告噪音。
首次运行wordcloud如果你遇到中文字体变成方块，不要慌，这不是代码问题，而是缺少中文字体配置。后面我会专门提到字体参数的设置。
3.2 模拟评论数据的构造
因为这篇笔记聚焦流程本身，我给自己准备了一份模拟评论文件comments.csv，包含三个字段：评论ID、评论时间、评论文本。文本内容参考了真实场景中常见的说法，比如“物流很快，第二天就到了”“包装有破损，盒子都压扁了”“音质还可以，但是这个价位来说已经很值了”“连接不稳定，经常断连重连”等等，总共造了300条。你也可以用Excel表格手写生成这样一份数据，字段不用多，够演示即可。
实操中你面对的真实数据往往比自己造的数据“脏得多”。Excel表格里偶尔混入全角空格、换行符，网页爬来的文本夹杂HTML标签，这些都必须在清洗阶段处理干净，否则分词和统计结果会被严重干扰。
3.3 清洗操作：去重、去符号、去空值
加载数据后执行下列操作：
import pandas as pd import re df = pd.read_csv("comments.csv", encoding="utf-8") print(df.shape) print(df.head()) # 1. 去除完全重复的记录 df = df.drop_duplicates(subset=["comment"]) # 2. 删除空评论 df = df.dropna(subset=["comment"]) # 3. 去除首尾空格、把全角空格和换行符统一规整 df["comment_clean"] = df["comment"].str.replace(r"\s+", " ", regex=True) df["comment_clean"] = df["comment_clean"].str.strip() # 4. 去除无意义的纯符号评论 def is_noise(text): text_no_symbols = re.sub(r"[^\u4e00-\u9fa5a-zA-Z0-9]", "", text) return len(text_no_symbols) < 2 df = df[~df["comment_clean"].apply(is_noise)]这里有一个容易忽略的老坑：字符集编码问题。pandas读取CSV时默认会用系统编码，如果你在Windows上读别人发来的文件，经常碰到gbk和utf-8互相打架的情况，爆出一堆乱码。建议读取时显式指定编码，比如encoding="utf-8"或encoding="gbk"去试，也可以直接把数据源统一为CSV先把编码固定，再导入后续处理。
清洗完的文本我建议单独存一份：
df[["comment_clean"]].to_csv("comments_cleaned.csv", index=False, encoding="utf-8")这是一个非常容易被忽视的好习惯。比如分词发现异常时，你可以快速反查原始文本是清洗的问题还是本身内容的问题，不需要从头再跑一遍全流程。
4. 分词与停用词：机器是如何“读懂”一段中文的
4.1 为什么中文必须分词
英文单词之间天然有空格分隔，分词基本是白送。但中文不同，“物流很快”四个汉字连在一起，机器并不知道哪里是词边界。如果按单字处理，“快”字在文本里的含义非常模糊，根本无法承载业务判断。分词就是把连续汉字序列切分成有意义的词语序列，这一步的准确性直接决定后面所有统计的质量。
jieba是目前入门最顺的中文分词工具，它内部结合了基于前缀词典的扫描和基于汉字成词能力的隐马尔可夫模型，能够识别大多数常见词汇。对于“我来到北京清华大学”这种句子，它能正确切分为“我/来到/北京/清华大学”，中文个性词汇的识别率在一般场景下表现都不错。
4.2 jieba的三种分词模式
实践中我主要用两种模式：
import jieba text = "这个耳机音质不错，但是蓝牙连接不够稳定" seg1 = jieba.cut(text) # 精确模式，默认 seg2 = jieba.cut(text, cut_all=False) # 精确模式，等价于默认 seg3 = jieba.cut_for_search(text) # 搜索引擎模式，粒度更细精确模式适合做文本分析——它倾向于给出看起来最自然的词语切分；“搜索引擎模式”会把长词进一步拆细，一般用于检索场景，入门阶段不需要优先考虑。
4.3 自定义词典解决“人名品牌词”被拆碎的问题
实际跑数据会遇到一个让人抓狂的情况：明明“蓝牙耳机”是一个完整业务词，分词结果却是“蓝牙/耳机”；“某品牌”被拆成了几个字。根本原因是jieba默认词典没有收录这些词，或者词频权重不够，导致它按通用规则拆分。
解决办法是给jieba添加自定义词典。我建了一个userdict.txt，每行一个词，后面可以加词频和词性：
蓝牙耳机 10 n 连接稳定性 5 n 降噪效果 10 n 客服态度 5 njieba.load_userdict("userdict.txt")加完自定义词典，再看同一句话的分词结果，业务相关词组能够被完整保留。这一步在真实项目中很重要，尤其是处理产品名词、行业术语、人名地名时，没有自定义词典几乎没法得到有意义的关键词统计。
4.4 停用词表：把“的、了、就”这类噪音词踢出去
分词之后你会得到一堆词语，但直接数词频的话，排前几名的往往是“的”“了”“很”“也”“就”。这些词在语法上有用，但是在主题分析里属于纯噪音，必须过滤。我整理了一份最小停用词表，直接以列表形式写在代码里：
stopwords = set([ "的", "了", "和", "是", "就", "都", "而", "及", "与", "着", "或", "一个", "在", "我", "你", "它", "这", "那", "有", "很", "也", "但", "并", "等", "还", "挺", "比较", "非常", "有些", "这个", "那个", "因为", "所以", "但是", "不过", "以及", "对于", "虽然", "不然" ]) def filter_stopwords(words): return [w for w in words if w not in stopwords and w.strip()]网上可以下载到更完整的停用词表，比如常见的“哈工大停用词表”，处理公开场合的文本完全够用。入门阶段我的经验是：先下载通用词表，再根据自己数据的业务语境做增量扩充，比如本次案例把“耳机”“商品”“东西”也加入停用词，因为这些词在商品评论场景中太过通用，对主题区分没有帮助。
注意：停用词表不是越多越好。把业务关键词误加到停用词里，会导致关键主题直接消失。筛选停用词时多问一句：这个词对区分评论主题有没有帮助？
4.5 完整的分词流水线
我把清洗、分词、过滤封装成一个函数，方便对整列数据批量处理：
def seg_text(text): # 精确模式分词 seg_list = jieba.cut(text, cut_all=False) # 过滤停用词和空白 words = [w.lower() for w in seg_list if len(w.strip()) > 0 and w not in stopwords] return " ".join(words) df["seg_comment"] = df["comment_clean"].apply(seg_text)分词结果保存完整文本，后面统计词频直接按空格拆分就行。
补充一个我在第一版跑实验时栽过的跟头：早期我把英文大小写混在一起统计，结果“A”和“a”被当成两个词，词频榜被切成了一堆碎片。建议分词后统一转小写，英文缩写另做归一化处理，避免无意义的重复统计。
5. 从词频到TF-IDF：给关键词做一次“通票还是枪手”的判定
5.1 词频统计：先看整体热点
清洗并分词后，第一步最简单直观的统计是整体词频。把每条评论的词语序列拼在一起，数一数每个词出现了多少次：
from collections import Counter all_words = " ".join(df["seg_comment"]).split(" ") word_freq = Counter(all_words) top_30 = word_freq.most_common(30)执行后我自己复盘了一次结果：排名靠前的词多半是“快”“音质”“包装”“稳定”“价格”，这些词确实能反映用户对物流、产品性能和价格的关注度。但整体词频有一个先天问题：它只考虑“出现次数”，不考虑“词在哪些文本里出现”。如果一个词在所有评论里都出现，它反而说明不了什么。比如“东西”这种词在商品评论里到处都是，但对主题区分毫无意义。
5.2 TF-IDF：给“到处都在的词”降权
在分词场景里，TF-IDF是一种更聪明的加权方式。它的想法很简单：
- 词频（TF）：一个词在本条评论里出现多次，说明它与本条评论关系紧密
- 逆文档频率（IDF）：一个词在所有评论里普遍存在，说明它区分度低，权重应该被压低
把两者相乘，留下的是“在本条评论里频繁出现、但在整体评论中不那么普遍”的词。这类词才是区分评论主题的关键。
jieba内置了analyse.extract_tags，可以直接输出每条评论的TF-IDF关键词：
import jieba.analyse # 给每条评论提取3个关键词 df["keywords"] = df["comment_clean"].apply( lambda x: ",".join(jieba.analyse.extract_tags(x, topK=3)) )如果想拿到全局视角的关键词热度，把整列清洗后的评论文本拼接成一个超长字符串，再丢给extract_tags，就能得到所有评论中综合权重最高的关键词。这与直接用词频做完后再人工筛一遍停用词的思路相比，工作量更小。
5.3 生成词云：注意中文字体，否则方块满天飞
词云是文本分析中最有视觉冲击力的输出，也是最容易“看起来做完”的环节。我用wordcloud库生成词云，一个核心参数是font_path——指定中文字体文件：
from wordcloud import WordCloud import matplotlib.pyplot as plt word_freq_dict = dict(word_freq) wc = WordCloud( font_path="C:/Windows/Fonts/simhei.ttf", # 换成你机器上的中文字体路径 width=800, height=600, max_words=100, background_color="white" ) wc.generate_from_frequencies(word_freq_dict) plt.figure(figsize=(10, 8)) plt.imshow(wc, interpolation="bilinear") plt.axis("off") plt.show()如果你是在Linux服务器上跑，没有Windows字体目录，就需要下载一个开源中文字体放到项目里，再填对应的font_path。这一步不做，词云上全是“豆腐块”，非常挫败。
提示：词云展现的全局词频信息，适合向业务方汇报时快速传递“大家最常讨论什么主题”。但如果你要做严谨的分析结论，更要参考TF-IDF提取的重点词，而不是只看词云里字号最大的那几个词。
6. 情感分析：用一套朴素情感词典给评论打正负分
6.1 从规则开始，不急着上一堆训练模型
很多入门教程一进到情感分析就搬出训练好的深度学习模型，我建议先绕开。第一版流程应该足够透明，你能清楚地解释为什么某条评论被判成“正向”。我搭的方案是基于情感词典的得分累加模型，包含三张词表：
- 正向情感词表：比如“好”“快”“稳”“满意”“舒适”“赞”“不错”“清晰”“好用”
- 负向情感词表：比如“慢”“差”“破损”“返修”“封”“断”“失望”“辣鸡”
- 否定词表：比如“不”“没”“没有”“无法”“不太”“不足”
打分逻辑是：遍历评论分词结果，碰到正向词加1分，碰见负向词减1分；如果在情绪词前面碰到了否定词，就反转极性（比如“不稳定”最终算负分）。为了对程度差异做一点区分，我再加了一个小的程度词表，比如“非常”“太”把分数权重变成2，“有点”“稍微”变成0.5。
我演示用的小型词表直接写在代码里即可：
pos_words = set(["好", "快", "稳", "满意", "值得", "流畅", "清晰", "合适", "不错", "赞", "舒适", "实用"]) neg_words = set(["慢", "差", "破损", "坏", "断", "失望", "垃圾", "卡", "贵", "劣质", "问题", "退货"]) negate_words = set(["不", "没", "没有", "无法", "不太", "并不是"]) degree_words = {"非常": 2, "太": 2, "很": 2, "有点": 0.5, "稍微": 0.5, "比较": 1.2}打分函数实现如下：
def sentiment_score(text): words = [w for w in jieba.cut(text, cut_all=False) if w.strip()] score = 0 polarity = 1 for i, w in enumerate(words): if w in degree_words: polarity = degree_words[w] continue if w in negate_words: polarity = -polarity continue if w in pos_words: score += 1 * polarity elif w in neg_words: score -= 1 * polarity # 遇到普通词重置程度，但注意否定词连续出现的情况 if w not in degree_words: polarity = 1 return score把函数应用到每条评论上，分数大于0判为正向，小于0判为负向，等于0判为中性。拿模拟数据跑一遍，随机抽20条人工核对，绝大多数判断是合理的，前提是词表覆盖了评论里的情绪词。
6.2 朴素方案的偏差，比想象中要小
最初我担心这个方案太粗糙，但经过对比后发现，在短文本、口语化评论、业务场景集中的数据里，它的命中率很高。因为用户的评论语言高度重复，情绪表达方式有限，不像长文里那样充满隐喻和反讽。对入门案例来说，这个方案够用了。
不过也要清楚它的边界。看这句评论：“产品本身不错，但是售后响应速度太慢了，有点失望”。这个词表方案会把“不错”记为正分、“慢”和“失望”记为负分，最后得分为负，勉强判成负向。可是如果人工看，这句话其实是“产品认可、售后不满”的混合评价。朴素情感词典解决不了这种多维度情绪共存的问题，后续要细化到“属性级情感分析”，就得上带方面抽取的模型了。
如果是真实业务场景，我更推荐把方案稍作升级：按评论里的句式进行分段打分，或者只统计负向词的个数来做差评预警。规则方案的优点是可解释、可调整，方便你在词表里持续加入业务词汇，让模型效果越用越准。
6.3 结果的可视化：从情感维度看整体口碑
拿到每条评论的情感分后，统计正、中、负三类评论的占比，用饼图或柱状图展示。我画了一个简单的占比柱状图：
def label_sentiment(score): if score > 0: return "positive" elif score < 0: return "negative" else: return "neutral" df["sentiment"] = df["comment_clean"].apply(lambda x: label_sentiment(sentiment_score(x))) df["sentiment"].value_counts().plot(kind="bar")这个分布比例本身就是可以放进日报里的结论。你可以继续把它拆着看：负面评论里出现频率最高的词语是什么？用第5章的方法分别对正向评论和负向评论做关键词提取，能进一步定位“让用户不满的核心点在哪里”。这个拆解动作很推荐做，因为它把文本分析从“统计层”推进到了“业务归因层”，是后续撰写分析报告的重要素材。
7. 文本分析入门避坑清单：编码、分词、词表、业务背景这四个坑
7.1 第一个坑：数据源的编码和格式混乱
最常见的开场雷就是乱码。某次我从一个Excel导出的文件里读评论，pandas直接报编码错误，试了gbk和utf-8都不行。后来发现文件被用“UTF-8-BOM”格式保存过，开头多了三个不可见字节，解析才失败。处理办法很简单：读完CSV后检查列名是否带奇怪的\ufeff前缀，若有就做一次列名重命名，或者统一先另存为纯UTF-8文本。
此外，网页或软件导出的评论经常夹带中文引号、省略号、特殊符号。正则清洗时保留汉字、英文字符和数字，其余全部替换为空格即可，把特殊符号当作分隔噪音处理。
7.2 第二个坑：不维护停用词表，词云一塌糊涂
很多新手第一次跑词云，结果输出的最大字号是“的”“是”“就”“这个”。搞笑归搞笑，但确实说明停用词表没跟上。我给自己的规矩是：每个新项目，前两轮跑完词频后，必须增量修改一次停用词表。跑完看看前50名里哪些词是业务通用的空词，就把它加进去。
关键词：每换一批新数据，都要按业务语境调整一次停用词表和自定义词典。停用词表不是一次配好终身使用的东西。
7.3 第三个坑：业务词汇被分词切碎，统计结果失真
“降噪深度”“续航时间”“售后服务”这类复合业务词，如果不加自定义词典，很容易被拆成“降噪/深度”“续航/时间”“售后/服务”。单个分出来的词虽然也有意义，但组合词表达的业务概念更具体、更有指向性。很多入门教材不讲这个，导致你做完词频后发现词表里全是“服务”“速度”“质量”这类泛化词，分析报告写出来没深度。
我的操作方法是：先跑一次词频，把前100个词扫一遍，圈出所有带有业务含义的复合词，然后集中加进userdict.txt，再重新分词。两轮迭代之后，词频结果质量会有质的提升。
7.4 第四个坑：重新审视“词频高=重要”
这是文本分析最容易犯的认知坑。某次我做的数据里“价格”出现了80次，“客服”出现60次，按词频排名“价格”似乎是用户最关心的点。但在逐条阅读评论后发现，提到“价格”的句子多是“价格还可以”“价格不算贵”，而提到“客服”的句子几乎都是“客服不回复”“客服态度差”。词频确实能讲出部分真相，但只有结合情感分析和语境判断，才能还原完整故事。
所以我坚持在文本分析的项目中保留一个“原始文本抽查”环节：无论跑出多少漂亮图表，最后都要抽取30条左右原始评论逐条阅读。真正决定分析质量的重点不是算法选得多高级，而是你对业务语境的敏感度。
7.5 一个小技巧：把清洗后的文本保存下来做三层备份
我自己的习惯是保存三个版本：原始数据、清洗后的干净文本、分词后的词序列。每次分析报告里有疑问，我都能快速回溯是哪一层出了问题。这个习惯救过我很多次，比如有一次客户质疑某产品的正面评价比例偏高，我直接从中间结果查到是自定义词典把某品牌的负面复合词误分词成中性词汇，几分钟内定位了根因。
文本分析入门的最大收获不是学会了某个库的API，而是建立一种处理文本数据的思维框架：任何一列看似不能分析的文字，只要经过清洗、分词、过滤、特征提取这几步，都可以变成可用于统计和可视化的结构化数据。这套流程的每一步都不难，难点在于对细节较真——编码是否统一、词表是否匹配业务、结果是否有可解释性。当你把这些细节逐一打磨到位，文本分析的方法论会像表格透视一样自然地融入你的日常数据分析工具箱。
