简介：这份资源面向希望入门文本情感分析与API调用的Python学习者，围绕微博评论情感偏向判断这一课题展开。包内提供可供参考的微博评论数据集，以及调用百度云API获取文字情感得分、再对得分进行标准化处理以得到实际倾向的脚本，帮助读者理解从原始评论到情感倾向的完整链路。资源共15个文件，以py脚本、xml配置、xls表格与csv数据为主，另有少量工程配置文件，压缩包约421KB，体量轻便，便于快速上手与二次修改。目前已有202人学习下载。通过这份资料，读者可以掌握百度情感分析接口的调用方式、情感得分的标准化思路，以及pandas等库处理评论数据的基本流程，适合用于品牌舆情观察、公共事件情绪监测等场景的练手与参考。
1. 微博评论情感分析：从百度云 API 到 Python 落地，值不值得做
做舆情或者运营分析的同行大概率都碰过这个需求：手头有一批微博评论，想知道整体情绪偏正向还是负向，靠人眼看几百条还行，上万条就不现实了。标题里说的「调用百度云 API，基于 python 的微博评论情感偏向分析」，本质就是拿百度智能云的自然语言处理接口，把每条评论丢进去换回一个情感极性分数，再用 Python 做统计和可视化。它解决的是「批量、快速、可量化地判断评论情绪」这件事，适合做品牌舆情监控、活动复盘、内容运营的人，也适合刚学完 python 基础想找个真实项目练手的同学。
为什么选百度云 API 而不是自己训模型？一是省事，情感分析这种任务自己标注数据、训练、调参，没个几天跑不通，而接口调用几分钟就能出结果；二是稳定，百度在这块的中文语料积累够厚，短文本情感判断的准确率对一般业务够用。当然它也有边界，后面会讲哪些场景会翻车。这一章先把方向立住，接下来从环境搭建、接口调用、数据清洗到批量处理和避坑，一步步拆开讲。
2. 环境准备与百度云 API 接入：从零把调用链路跑通
2.1 百度智能云账号开通与鉴权方式选择
百度云的情感分析接口不是注册完账号就能直接调的，得先走完开通流程。登录百度智能云控制台，在产品列表里找到「自然语言处理」，进入后创建一个应用，应用类型选「情感分析」相关的。创建完你会拿到三个关键信息：API Key、Secret Key、App ID。这三个东西是后面所有调用的凭证，别直接写死在代码里，后面会讲怎么管理。
鉴权方式上，百度云提供两种：一种是直接用 Access Token，另一种是用 AK/SK 签名。对情感分析这种调用频率不高的场景，用 Access Token 就够了，流程是拿 API Key 和 Secret Key 去换一个有效期 30 天的 token，之后每次请求带上这个 token 即可。常见做法是把换 token 的逻辑单独封装成一个函数，token 缓存到本地文件，避免每次调用都重新申请——百度对 token 获取接口有频率限制，频繁申请会被限流。
提示：API Key 和 Secret Key 等同于密码，不要提交到 Git 仓库，用环境变量或者单独的配置文件管理，配置文件加进 .gitignore。
2.2 用 Python 获取 Access Token 并调用情感分析接口
先装依赖，requests 用来发 HTTP 请求，后面数据处理还会用到 pandas。如果你还没配好 python 环境，装个 python 3.8 以上版本即可，numpy、pandas 这些库用 pip 装。
pip install requests pandas openpyxl下面是获取 token 的代码，把 API_KEY 和 SECRET_KEY 换成你自己的：
import requests import json import time import os API_KEY = os.getenv("BAIDU_API_KEY") # 从环境变量读取，别硬编码 SECRET_KEY = os.getenv("BAIDU_SECRET_KEY") TOKEN_FILE = "baidu_token.json" def get_access_token(): """获取百度云 Access Token，带本地缓存""" # 如果本地有缓存且未过期，直接复用 if os.path.exists(TOKEN_FILE): with open(TOKEN_FILE, "r") as f: cached = json.load(f) if cached.get("expire_at", 0) > time.time(): return cached["access_token"] url = "https://aip.baidubce.com/oauth/2.0/token" params = { "grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY, } resp = requests.post(url, params=params, timeout=10) data = resp.json() if "access_token" not in data: raise RuntimeError(f"获取 token 失败: {data}") # 提前 5 分钟过期，避免边界情况 cache = { "access_token": data["access_token"], "expire_at": time.time() + data.get("expires_in", 2592000) - 300, } with open(TOKEN_FILE, "w") as f: json.dump(cache, f) return cache["access_token"]这段逻辑的关键点：token 有效期默认 30 天，缓存到本地后每次调用先检查是否过期，过期了才重新申请。expire_at提前 300 秒是为了避免刚好在过期瞬间发起请求导致失败。timeout=10是防止网络卡住时程序一直挂着。
拿到 token 后调情感分析接口：
def analyze_sentiment(text, access_token): """调用百度云情感分析接口，返回情感极性和置信度""" url = "https://aip.baidubce.com/rpc/2.0/nlp/v1/sentiment_classify" params = {"access_token": access_token} payload = {"text": text} resp = requests.post( url, params=params, headers={"Content-Type": "application/json"}, data=json.dumps(payload), timeout=10, ) result = resp.json() # 接口返回结构：items 里包含 sentiment(0负向/1中性/2正向) 和 confidence if "items" in result and result["items"]: item = result["items"][0] return { "sentiment": item.get("sentiment"), "confidence": item.get("confidence"), "positive_prob": item.get("positive_prob"), "negative_prob": item.get("negative_prob"), } return {"sentiment": None, "confidence": 0, "error": result.get("error_msg")}参数说明：text是待分析的评论文本，百度要求单条不超过 2048 字节（注意是字节不是字符，中文一个字约 3 字节，所以大概 680 个汉字）。sentiment字段返回 0、1、2 分别代表负向、中性、正向。confidence是置信度，低于 0.5 的结果建议人工复核。positive_prob和negative_prob是两个概率值，做精细分析时比单一的 sentiment 标签更有用。
2.3 微博评论数据的获取与清洗
微博评论的获取方式，常见做法是用微博开放平台的接口，或者用 requests + 页面解析的方式抓取公开评论。这里不展开爬虫细节，重点说清洗——因为评论数据脏起来是真的脏，直接丢给 API 会浪费调用次数。
清洗要处理这几类问题：一是表情符号和特殊字符，比如[微笑]、[doge]这类微博表情，转成文字或者直接去掉；二是 @ 提及和话题标签#话题#，这些对情感判断是噪声；三是重复评论，同一条评论被转发多次的情况很常见；四是超长文本，超过接口限制的要截断或者分段。
import re import pandas as pd def clean_comment(text): """清洗单条微博评论""" if not isinstance(text, str): return "" # 去掉 @用户 text = re.sub(r"@[\w\u4e00-\u9fa5\-]+", "", text) # 去掉话题标签的 # 号，保留话题内容 text = re.sub(r"#(.+?)#", r"\1", text) # 去掉 URL text = re.sub(r"https?://\S+", "", text) # 去掉微博表情 [xxx] text = re.sub(r"\[.+?\]", "", text) # 去掉多余空白 text = re.sub(r"\s+", " ", text).strip() return text # 读取原始评论 df = pd.read_csv("weibo_comments.csv") df["clean_text"] = df["content"].apply(clean_comment) # 去掉清洗后为空的 df = df[df["clean_text"].str.len() > 0] # 去重 df = df.drop_duplicates(subset=["clean_text"]) # 截断超长文本（按字节算，中文约 3 字节） df["clean_text"] = df["clean_text"].apply(lambda x: x.encode("utf-8")[:2000].decode("utf-8", "ignore")) print(f"清洗后剩余 {len(df)} 条评论")清洗逻辑逐条说明：@[\w\u4e00-\u9fa5\-]+匹配 @ 后面跟的英文、数字、中文或连字符；#(.+?)#用非贪婪匹配把话题标签的井号去掉但保留内容；\[.+?\]匹配微博表情的方括号格式。截断那一步用encode("utf-8")[:2000]再 decode，是为了按字节截断而不是按字符，避免超出接口的 2048 字节限制。errors="ignore"防止截断到半个汉字时报错。
3. 批量调用与结果落库：把几千条评论跑完不翻车
3.1 批量调用的并发控制与限流处理
单条调用跑通之后，真正的问题是几千上万条怎么高效跑完。百度云情感分析接口有 QPS 限制，免费版一般是 2 QPS，付费版更高。如果你直接 for 循环一条条调，几千条要跑很久；如果无脑开多线程，又会触发限流返回错误。
我的做法是用线程池控制并发数，配合重试机制。并发数不要超过你账号的 QPS 上限，免费版就老老实实设 2，付费版根据实际配额设。下面是一个可复用的批量处理函数：
from concurrent.futures import ThreadPoolExecutor, as_completed import time def batch_analyze(texts, access_token, max_workers=2, max_retry=3): """批量情感分析，带限流和重试""" results = [None] * len(texts) def worker(idx, text): for attempt in range(max_retry): try: res = analyze_sentiment(text, access_token) # 如果返回错误码是限流，等待后重试 if res.get("error") and "qps" in str(res["error"]).lower(): time.sleep(1 * (attempt + 1)) # 退避等待 continue return idx, res except Exception as e: time.sleep(0.5 * (attempt + 1)) return idx, {"sentiment": None, "confidence": 0, "error": "max retry exceeded"} with ThreadPoolExecutor(max_workers=max_workers) as executor: futures = [executor.submit(worker, i, t) for i, t in enumerate(texts)] for future in as_completed(futures): idx, res = future.result() results[idx] = res return results关键参数：max_workers控制并发线程数，免费账号设 2，付费账号按 QPS 配额设；max_retry=3是失败重试次数；退避等待用1 * (attempt + 1)秒，第一次失败等 1 秒，第二次等 2 秒，避免密集重试加重限流。as_completed保证结果按完成顺序收集，但最后用results[idx]按原始顺序存放，不会乱序。
注意：线程池并发数不是越大越好。超过 QPS 限制后，接口会返回错误，重试反而拖慢整体速度。宁可并发低一点跑得稳，也不要高并发频繁失败。
3.2 结果解析与情感分布统计
拿到原始结果后，需要把 sentiment 标签转成可读的分类，并做统计。下面这段把结果合并回 DataFrame 并计算分布：
# 假设 df 里已经有 clean_text 列 token = get_access_token() texts = df["clean_text"].tolist() raw_results = batch_analyze(texts, token, max_workers=2) # 解析结果 sentiment_map = {0: "负向", 1: "中性", 2: "正向"} df["sentiment"] = [r.get("sentiment") for r in raw_results] df["confidence"] = [r.get("confidence", 0) for r in raw_results] df["positive_prob"] = [r.get("positive_prob", 0) for r in raw_results] df["negative_prob"] = [r.get("negative_prob", 0) for r in raw_results] df["sentiment_label"] = df["sentiment"].map(sentiment_map) # 统计分布 dist = df["sentiment_label"].value_counts(normalize=True).round(4) * 100 print("情感分布（%）：") print(dist) # 只看高置信度的结果 high_conf = df[df["confidence"] >= 0.8] print(f"\n高置信度样本占比：{len(high_conf) / len(df):.2%}") print(high_conf["sentiment_label"].value_counts(normalize=True).round(4) * 100)value_counts(normalize=True)直接算比例，乘 100 转成百分比。confidence >= 0.8是筛出模型比较确定的结果，做正式报告时建议只用高置信度样本，低置信度的单独拿出来人工看。这一步很多人会忽略，直接把所有结果混在一起统计，导致结论被大量模糊样本稀释。
3.3 结果可视化与报告输出
统计完要出图。用 matplotlib 画个情感分布饼图或者柱状图，注意中文字体问题——这是新手最容易踩的坑，默认字体显示中文会变成方框。
import matplotlib.pyplot as plt import matplotlib # 设置中文字体，Windows 用 SimHei，Mac 用 Arial Unicode MS matplotlib.rcParams["font.sans-serif"] = ["SimHei", "Arial Unicode MS"] matplotlib.rcParams["axes.unicode_minus"] = False # 解决负号显示问题 fig, axes = plt.subplots(1, 2, figsize=(12, 5)) # 左图：情感分布饼图 dist.plot.pie(ax=axes[0], autopct="%1.1f%%", startangle=90) axes[0].set_ylabel("") axes[0].set_title("微博评论情感分布") # 右图：置信度分布直方图 axes[1].hist(df["confidence"].dropna(), bins=20, edgecolor="black") axes[1].set_xlabel("置信度") axes[1].set_ylabel("评论数") axes[1].set_title("情感判断置信度分布") plt.tight_layout() plt.savefig("sentiment_report.png", dpi=150) plt.show() # 导出明细到 Excel df.to_excel("sentiment_result.xlsx", index=False)font.sans-serif里把 SimHei 放第一位，Windows 系统自带；Mac 没有 SimHei，会 fallback 到 Arial Unicode MS。axes.unicode_minus = False解决负号显示成方块的问题。dpi=150保证导出图片清晰度够用。导出 Excel 方便后续人工复核和分享给不写代码的同事。
4. 避坑与排查：情感分析翻车的五个真实场景
4.1 反讽和网络梗被误判
现象：评论「这波操作真是绝了，佩服佩服」被判定为正向，实际是反讽。原因：情感分析模型基于字面语义，对反讽、阴阳怪气这类需要上下文和语用推理的表达识别不了。解决：对已知的反讽高频词做人工规则兜底，比如「呵呵」「真是绝了」「佩服」在特定语境下标记为待复核；或者对置信度低于 0.6 的结果全部人工抽检。别指望接口能搞定反讽，这是当前所有情感分析模型的通病。
4.2 短文本和纯表情评论返回中性
现象：评论「？？？」「[微笑]」被判定为中性，置信度还很低。原因：清洗阶段把表情去掉了，剩下的文本信息量太少，模型无法判断。解决：清洗时不要把表情直接删掉，把常见表情映射成文字，比如[微笑]转成「微笑」、[怒]转成「愤怒」，保留情感信号。对于清洗后长度小于 3 个字的评论，单独标记为「信息不足」，不参与统计。
4.3 接口返回错误码但程序不报错
现象：批量跑了几千条，最后发现有一批结果的 sentiment 是 None，但程序没抛异常。原因：接口在限流或参数错误时返回的 JSON 里没有 items 字段，而是 error_code 和 error_msg，代码里只判断了 items 是否存在，没处理错误分支。解决：在 analyze_sentiment 里显式检查 error_code，把错误信息记录下来，批量处理结束后统计失败率，失败率超过 5% 就要排查是限流还是文本格式问题。
4.4 token 过期导致批量任务中途失败
现象：跑一个长时间任务，前几百条正常，后面全部失败。原因：token 有效期到了，但代码只在启动时获取了一次。解决：在批量处理的 worker 里每次调用前检查 token 是否快过期，或者捕获鉴权失败的错误码后重新获取 token 再重试。更稳妥的做法是给 token 加一个刷新机制，在过期前 10 分钟自动续期。
4.5 中文编码问题导致乱码
现象：从 CSV 读取的评论出现乱码，或者写入 Excel 时中文变成问号。原因：CSV 文件编码可能是 GBK，而 pandas 默认按 UTF-8 读；或者 Excel 对某些字符处理有问题。解决：读 CSV 时显式指定encoding="utf-8"或encoding="gbk"，不确定就先试 utf-8，报错再换 gbk。写 Excel 用 openpyxl 引擎，一般不会有编码问题。如果评论里有 emoji，CSV 存储时用encoding="utf-8-sig"避免 BOM 问题。
5. 进阶技巧：用 positive_prob 做情感强度分级与趋势分析
基础的 sentiment 标签只有三档，做舆情监控时颗粒度不够。接口返回的positive_prob和negative_prob是两个 0 到 1 的概率值，用它们可以做更细的情感强度分级。我的习惯是把 positive_prob 减 negative_prob 得到一个 -1 到 1 的情感得分，然后按区间分档：
| 情感得分区间 | 分级 | 含义 |
|---|---|---|
| 0.6 ~ 1.0 | 强正向 | 明确好评、推荐 |
| 0.2 ~ 0.6 | 弱正向 | 偏正面但语气平和 |
| -0.2 ~ 0.2 | 中性 | 无明显倾向 |
| -0.6 ~ -0.2 | 弱负向 | 轻微不满 |
| -1.0 ~ -0.6 | 强负向 | 明确差评、投诉 |
# 计算情感得分并分级 df["sentiment_score"] = df["positive_prob"] - df["negative_prob"] def grade(score): if score >= 0.6: return "强正向" elif score >= 0.2: return "弱正向" elif score >= -0.2: return "中性" elif score >= -0.6: return "弱负向" return "强负向" df["grade"] = df["sentiment_score"].apply(grade) print(df["grade"].value_counts())有了情感得分，还能做时间趋势分析。如果评论数据带时间戳，按天聚合算平均情感得分，就能看出舆情走势——哪天情绪突然转负，配合当天的事件就能定位问题。这个用法在品牌危机预警里很实用，比只看总量分布有价值得多。
# 假设 df 有 create_time 列 df["date"] = pd.to_datetime(df["create_time"]).dt.date daily = df.groupby("date")["sentiment_score"].mean().round(4) print(daily) # 找出情感得分骤降的日期 daily_diff = daily.diff() alert_days = daily_diff[daily_diff < -0.3] print(f"\n情感骤降的日期：\n{alert_days}")diff()算相邻两天的差值，小于 -0.3 说明情绪明显恶化，值得重点关注。阈值 0.3 是我根据实际数据调的，你可以根据自己数据的波动幅度调整。
最后说个血泪经验：情感分析的结果永远只能作为参考，不能作为决策的唯一依据。我见过太多人拿着接口输出的正向比例直接写进汇报，结果被业务方一句「这评论明明是骂人的」问住。接口给的是概率，不是真相。高置信度的结果可以信，低置信度的必须人工看，反讽和梗必须靠规则兜底。把这三条守住，这套方案就能稳定产出有价值的东西。希望帮到你。
本文还有配套的精品资源，点击获取
