判断一个群体的表达风格是不是更“凭直觉”了，不能只靠摘出几个亮眼句子下结论。更稳妥的做法，是把两个时期的文本集中起来，用可重复的指标做一次量化对比。这篇文章要讲的就是一套轻量级方法：准备两批语料，抽取情感强度、绝对化表达、模糊限定词和句法复杂度等特征，再通过统计检验确认风格变化是否真实存在。
写这个话题，是因为我经常看到“某人说话开始依赖直觉”“某类表达变得越来越情绪化”这类判断，但这些判断很少给出可验证的标准。如果你也想把这种观察变成能交给同事复核的分析，后面的东西应该用得上。整个流程不要求很高的机器配置，普通笔记本就能跑，重点是先把特征定义清楚，再决定用什么统计方法。
1. 先搞清楚“直觉化表达”能用什么指标衡量
很多讨论卡在第一步：到底什么是“直觉化表达”？有人觉得是感叹号多，有人觉得是“我感觉”“我觉得”出现频率高，还有人觉得是没有引用数据、直接下结论。这些直觉都不错，但不能直接用，因为定义太宽泛了。
1.1 为什么不能只看一两个词
只看“我觉得”这种词很容易被误伤。正式汇报里也会说“我觉得这个方案风险较高”，但后面可能跟着完整的数据分析。这时候“我觉得”只是话头，不是直觉化表达。真正的直觉化表达，往往是一组特征同时出现：
- 高情感强度：包含大量明显褒贬的词，比如“极差”“完美”“彻底失败”。
- 绝对化断言：频繁使用“所有”“每一个”“从来没有”“必然是”。
- 缺少证据锚点：数字、来源、时间、调查出处很少。
- 句法偏简单：整体句子平均长度短，从句少，转折少。
单独看任何一个指标，都可能出现误判。但把这些指标组合起来，就能描述“表达是否变得更依赖感受、更少依赖逻辑和证据”。
1.2 直觉化表达的可操作特征
我会在实际分析里把“直觉化表达”拆成四类可统计的变量：
第一，情感强度。用情感词典或者情绪分类模型给每个句子打分，分数越高，说明越接近直觉判断而不是冷静分析。
第二，绝对化表达频次。统计“总是、绝对、必须、无人能、所有、毫无争议”这类不留余地的词。
第三，证据密度。统计每千字中出现的数字、百分比、日期、机构来源、文献引用次数。如果证据密度下降，风格确实可能在变得更依赖主观判断。
第四，语言复杂度。计算平均句长、被动语态占比、从句数量。复杂句式通常意味着逻辑关系更多，而直觉化表达往往句子更短、更直接。
这四个方向不需要一上来全做。第一次可以先选两个最有代表性的：情感强度和证据密度。跑通之后再逐步加入绝对化词表和复杂度指标。
2. 搭建一套可复现的分析环境
这个分析不需要 GPU，也不依赖大模型。普通电脑装好 Python 环境就能开始。我建议把整个流程拆成三块：语料准备、特征提取、统计检验。分块做的好处是，任何一步出问题都能快速定位。
2.1 语料准备：两期文本怎么收集
第一步是明确对比对象。例如，你要比较“前半年”和“后半年”的发言风格变化，就要保证两个时期的文本来源一致、长度接近、话题分布不要差异太大。如果前一个时期全是经济议题，后一个时期全是社会情绪议题，风格变化可能只是话题变化，不是表达方式变化。
收集文本时，有几个字段必须保留：
- 文本ID：方便定位原始文档。
- 日期：用于划分时期。
- 来源：发言人、部门、媒体频道等。
- 正文：删除掉页眉页脚、签名、超链接等噪音内容。
如果你要分析的文本是外国语言，还需要额外记录语言类型，方便后面选择对应的分词模型。比如德语、法语要选择支持该语言的分词工具，不能拿中文默认工具硬套。
2.2 工具与依赖：用 Python 完成主要处理
下面这些库是我常用的，具体版本以你本机环境为准：
- pandas：处理表格数据，按日期、分组统计。
- jieba 或 spaCy：中文和欧洲语言的分词、断句。
- textstat：计算平均句长、可读性分数。
- scipy：做卡方检验、Mann-Whitney U 检验、效应量计算。
- matplotlib 或 plotly：画变化趋势图。
环境准备阶段不需要把全部功能都装齐。先装 pandas 和 jieba，跑通数据加载；再逐步增加其他依赖。我一般会把依赖需求放到 requirements.txt，方便复现。
pip install pandas jieba textstat scipy matplotlib如果只是临时分析，直接安装到当前环境没问题。如果要长期跑，建议单独建一个虚拟环境，避免和项目依赖冲突。
3. 核心特征提取与量化
环境准备好之后，不要急着跑全量数据。先挑 20 到 50 条文本，手动看一遍，确认特征词典和分词结果符合预期。这一步非常关键，因为词典覆盖不足时，后面统计结果会失真，而且很难查出是哪里错了。
3.1 情感强度与绝对化表达
情感强度的常见做法是使用情感词典。英文可以用 VADER，中文可以用大连理工情感词汇本体库。加载词典后，对每条文本计算平均情感得分和正负情感词密度。
绝对化表达则更简单：维护一个自定义词表，统计每个文档里命中词的次数。
import pandas as pd import jieba absolutist_words = ["必然", "毫无", "所有", "一切", "绝对", "必须", "从来", "天下无敌"] def count_absolutist(text): words = jieba.lcut(text) return sum(1 for w in words if w in set(absolutist_words)) df["absolutist_count"] = df["content"].apply(count_absolutist) df["absolutist_per_1000"] = df["absolutist_count"] / df["char_count"] * 1000这里要注意，词表会漏掉很多短语，比如“没有任何例外”“所有人都知道”。可以先跑一轮统计，把高频命中行打出来，人工补充词表。我在实际项目中一般要迭代三轮左右，词典才会稳定。
3.2 句法复杂度与模糊限定词
句法复杂度不是必须的，但它是判断“直觉化”的有力补充。直观理解是：一个人如果越来越依赖直觉，通常不会说太长的嵌套句，反而会使用更多短句、并列句。
计算平均句长可以用 textstat：
import textstat # 注意：textstat对中文支持有限，这里用英文语料示例 df["avg_sentence_length"] = df["content"].apply( lambda x: textstat.avg_sentence_length(x) )如果是中文，可以先按句号、感叹号、问号切句，再计算句长：
import re def split_sentences(text): return re.split(r"[。！？!?]", text) def avg_sentence_length_cn(text): sentences = [s for s in split_sentences(text) if len(s.strip()) > 0] if not sentences: return 0 return sum(len(s) for s in sentences) / len(sentences)模糊限定词也值得统计，例如“大概、也许、可能、部分、较多、一定程度上”。注意，模糊限定词和绝对化表达有时会同时出现，因为说话人可能先模糊限定，再绝对断言。这种情况下，最好分开统计，不要合成一个指标。
3.3 用预训练模型做补充分类
如果词典方法不够用，可以引入一个文本分类模型。思路是：人工标注几百条“像直觉表达”和“不像直觉表达”的句子，然后用预训练语言模型微调，或者是直接用零样本分类。
零样本分类适合小规模探索。以 Hugging Face 的 pipeline 为例：
from transformers import pipeline classifier = pipeline( "zero-shot-classification", model="facebook/bart-large-mnli" ) result = classifier( "This decision is clearly wrong.", candidate_labels=["intuitive", "analytical"] )这类模型会把句子分为“直觉式”和“分析式”，但要注意模型不一定理解中文里的复杂表达。建议先在小样本上对比词典结果，看一致性如何。如果两者差异很大，先检查是不是文本语言不匹配，再检查候选标签描述是否清晰。
4. 差异检验与结果解读
特征算出来之后，最忌讳直接比较平均值：前半年每千字绝对化词 3.2，后半年 3.8，就说“上升了 18.75%”。这种简单比较没有考虑样本波动。正确做法是进行统计检验。
4.1 计算偏移方向和幅度
假设你的数据结构是每一行代表一条文本，包含时期、情感分、绝对化词密度、句长等字段。先把数据按时期分成两组。
然后分别计算两个时期的均值、中位数、标准差和分位数。分位数尤其重要，因为表达风格数据往往有明显长尾。少数极端文本会把平均值拉高，导致误判。
grouped = df.groupby("period")["absolutist_per_1000"] print(grouped.describe())如果后一个时期的中位数、75% 分位数都明显高于前一个时期，比只看均值更可靠。
4.2 显著性检验怎么选
如果数据接近正态分布，可以用独立样本 t 检验。但文本特征通常不是正态的，所以更推荐 Mann-Whitney U 检验，它只依赖排序，对异常值更稳健。
from scipy.stats import mannwhitneyu before = df.loc[df["period"] == "before", "absolutist_per_1000"] after = df.loc[df["period"] == "after", "absolutist_per_1000"] stat, p = mannwhitneyu(before, after, alternative="two-sided") print(f"U={stat:.2f}, p={p:.4f}")除了 p 值，最好再算一个效应量，比如 Rank-biserial correlation 或 Cohen's d。p 值只能说明差异是否可能由随机因素造成，不能说明差异大小。样本量很大时，即使 0.01 的差异也会显著，这时候效应量更重要。
如果特征是计数型的，比如某类词语出现次数，也可以把两个时期的文档合并成一个 2x2 频率表，用卡方检验。但卡方检验对样本量敏感，建议同时输出每个格子的期望频数，确认没有太多小于 5 的格子。
4.3 可视化与报告输出
分析最后要落到一张图上。最简单的做法是画箱线图，对比两个时期的分布形状。再叠加一个均值点，直观展示偏移方向。
import matplotlib.pyplot as plt df.boxplot(column="absolutist_per_1000", by="period") plt.title("Absolutist expression density by period") plt.suptitle("") plt.show()图不要只画一张。我一般会画四个子图：绝对化词密度、情感分、证据密度、平均句长。这样可以一次性看到多个维度是否同时偏移。如果只有一个维度变化，结论要保守。如果多个维度同时指向“更少证据、更多情感、更多绝对断言”，那才比较可信。
5. 常见坑位与排查顺序
这套流程看着简单，落地时容易栽在数据层面。这里是我踩过比较多的几个坑。
5.1 分词、编码和语料混杂
中文文本常见问题包括：全角半角混用、零宽空格、BOM 头、URL 和表情符号。没有清洗干净，分词结果会变得很难看，特征统计也随之失真。
出现特征异常时，先不要盯着算法，按这个顺序排查：
- 查看原始文本前 50 行，确认编码是否乱码。
- 检查文本是否被截断、重复拼接。
- 检查日期字段是否覆盖正确，是否存在跨时期的重复文本。
- 检查分词结果的中间文件，看看是不是所有关键词都能被切分。
很多看起来像模型能力不够的问题，最后都出在语料清洗。
5.2 词典覆盖率不足
词典是特征统计的灵魂。如果你发现某一段文本明显很情绪化，但情感得分很低，大概率是词典没有覆盖到新词、俚语或专有说法。
解决办法不是一味扩大词典，而是把当前语料中出现的高频词提取出来，按词频排序，人工扫一遍，把与直觉化表达相关的词加入词典。这个过程很费时间，但一次做好，后面很多文本都能复用。
如果两个时期的语料来源不同，比如一个时期是正式发言，另一个时期是网络评论，词典覆盖差异会干扰结果。最好用同一来源的文本，或者按来源分层统计。
5.3 样本量不均衡与时间周期
时期 A 有 1000 篇，时期 B 只有 80 篇，差异检验显著性会受影响。首先报告每个时期的样本量，再看是否需要对样本加权，或者使用置信区间比较。
时间周期的选择也会影响结论。如果只是两周的短期波动，不能代表长期趋势。建议至少以月为周期，并且做滚动均值曲线。比如按月计算绝对化词密度，再看 3 个月滚动平均是否出现拐点。
如果发现某个时段的特殊事件导致数值跳变，要单独标注，不要直接归因于整体风格转向。真实场景里，风格变化很少是均匀的，往往有几个关键节点。
6. 这套方法能用到哪，不能用到哪
方法有价值，但要清楚边界。这套流程适合分析公开演讲、会议纪要、新闻评论、客服对话、产品文案等文本。它不适合对单个短句下结论，也不适合预测说话人动机。
6.1 适用场景
最典型的场景是做“前后对比”。比如新领导上任前后，发言风格有没有变化；或者某个部门推行新话术规范后，对外文案是否变得更直接、更情绪化。
另一种场景是做群体对比。同一个议题下，两个群体的表达风格有什么差异。这种情况下，不需要时间序列，直接做两样本检验即可。
这些分析可以用于内部调研报告、传播效果评估、写作风格监测。只要数据来源合法、明确标注指标定义，结果就有参考价值。
6.2 边界与误用提醒
有几个误用需要特别小心。
第一，不要把相关关系说成因果关系。即使发现证据密度下降和绝对化表达上升同时出现，也不能断定某件事“导致”了风格变化。可能只是话题难度变了，或者说话人换了。
第二，不要过度解读单个词。不能因为“绝对”出现次数变多，就说某人盲目自信。要结合上下文，看看“绝对”后面接的是“绝对有数据支撑”还是“绝对正确”。
第三，不要忽略文体差异。如果时期 A 是书面报告，时期 B 是现场问答，那平均句长和情感强度本来就会变化，跟直觉化转向没有关系。分析前必须控制文本体裁，至少要把不同体裁分开统计。
第四，预训练模型的分类结果只能用于探索，不能直接当作实证结论。模型本身有偏见，而且它对“直觉化”这个概念的理解和我们可能不一致。最好每个样本都抽样人工检查。
最后再强调一次：文本量化分析是用来辅助判断的，不是用来替代人工阅读的。发现统计偏移后，回到原文里去读，再下结论，才不会让数字骗了你。
我个人建议，第一次跑这套流程时，选择一个小数据集，比如每个时期 30 篇文章，先把特征、词典、统计检验全部跑通。数据量小，你能手动检查每一篇的异常。确认流程稳定后，再扩展到全量语料。这样既节省时间，也能避免一开始就陷入“结果看起来怪但又不知道哪里错”的困境。
