简介：这份资源面向计算机相关专业学生与Python初学者，提供一套基于LSTM的文本情感分析系统完整源码与配套资料，可用于期末大作业、课程设计或毕业设计场景，帮助读者理解循环神经网络在中文情感分类任务中的落地流程。压缩包共9个文件，约7.15MB，包含3个Python脚本分别负责模型训练、预测推理与对话交互，另有训练数据、词表序列化文件、已训练模型权重、网络结构示意图及说明文档，覆盖从数据预处理到模型调用的主要环节。目前已有140人学习下载。项目难度适中，源码经本地编译验证可运行，评审分达98分，内容经助教审定，读者可据此掌握LSTM建模思路、训练参数配置与预测接口调用方式，并参考目录结构快速复现实验，适合作为深度学习入门实践与课程作业的参考模板。
1. 从零复现一个基于Python+LSTM的文本情感分析系统：这套源码到底能跑出什么结果
电商评论、弹幕、工单、问卷开放题，这些场景里每天都会堆积大量短文本，人工逐条判断正负面根本不现实。基于Python+LSTM的文本情感分析系统要解决的就是这件事：把一句话丢进去，输出它是正面还是负面，以及对应的置信度。它适合三类人：想拿一个完整项目练手的Python入门者、需要给业务加一个评论过滤模块的后端工程师、以及正在找源码+笔记式学习材料的学生。这套方案的核心链路是「中文分词 → 词向量 → LSTM编码 → 全连接分类」，不依赖任何在线接口，本地就能跑通。下面我按自己实际搭过一遍的顺序，把环境、数据、模型、训练、推理和踩坑全部拆开讲，你照着做就能得到一个能对外演示的完整系统。
2. 环境准备与数据管道：把原始评论变成LSTM能吃的张量
2.1 为什么选Python 3.8 + PyTorch而不是TensorFlow
先说选型理由，这决定了你后面少走多少弯路。LSTM本身在PyTorch和TensorFlow里都有成熟实现，但lstm模型代码的可读性上，PyTorch的动态图写法更接近普通Python逻辑，调试时能直接print中间张量，对新手友好得多。我一般会锁定Python 3.8，原因是这个版本对numpy、pandas、torch的兼容性最稳，很多python安装numpy库的方法在3.8上不会遇到编译轮子缺失的问题。如果你用的是更新的Python版本，torch一般也能装，但个别依赖会提示版本冲突。
安装命令如下，建议单独建虚拟环境，避免污染系统Python：
# 创建并激活虚拟环境 python -m venv senti_env source senti_env/bin/activate # Windows下用 senti_env\Scripts\activate # 安装核心依赖，版本号是经过验证能互相兼容的组合 pip install torch==1.13.1 pip install numpy==1.24.3 pandas==1.5.3 scikit-learn==1.2.2 pip install jieba==0.42.1逻辑说明：torch负责模型和训练，numpy/pandas做数据处理，scikit-learn只用来切分数据集和算评估指标，jieba做中文分词。参数上，torch版本不要盲目追新，1.13.x在CPU上跑LSTM的稳定性我实测最好；如果你有NVIDIA显卡，可以换成对应的cu118版本，训练速度能快5到10倍，但本文的代码在纯CPU上也能跑完，只是慢一些。
2.2 数据格式与清洗：三个必须处理的脏数据问题
情感分析的数据集通常是「文本,标签」两列，标签用0表示负面、1表示正面。真实数据里一定会有这三类脏东西：HTML标签残留、全角符号混排、以及长度极端短的无效样本。清洗脚本如下：
import re import pandas as pd def clean_text(text): # 去掉HTML标签，评论爬下来常带<br>、<p>这类残留 text = re.sub(r'<[^>]+>', '', text) # 只保留中文、英文、数字和基本标点，去掉表情和乱码 text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9，。！？、]', '', text) # 压缩连续空格 text = re.sub(r'\s+', ' ', text).strip() return text df = pd.read_csv('comments.csv') df['text'] = df['text'].astype(str).apply(clean_text) # 过滤掉长度小于2的样本，这种样本连分词都没意义 df = df[df['text'].str.len() >= 2] # 去重，重复评论会让模型过拟合 df = df.drop_duplicates(subset=['text']) print('清洗后样本数:', len(df))逻辑说明：正则第一步去标签，第二步做字符白名单过滤，这一步会误伤一些网络新词里的特殊符号，但换来的是分词稳定性。参数上，长度阈值设2是经验值，设成5会丢掉「好评」「差评」这种极短但有效的样本。清洗完记得打印正负样本比例，如果比例超过3:1，后面训练时要加类别权重，否则模型会偏向多数类。
2.3 分词与词表构建：jieba的两种模式和词表截断
中文没有空格，必须先分词。jieba有两种常用模式，精确模式适合情感分析，全模式会把「不太满意」切成「不太」「满意」，反而破坏语义。
import jieba from collections import Counter def tokenize(text): return jieba.lcut(text) df['tokens'] = df['text'].apply(tokenize) # 统计词频，构建词表 all_words = [w for tokens in df['tokens'] for w in tokens] word_count = Counter(all_words) # 只保留出现次数>=2的词，过滤低频噪声 vocab = {w: i+2 for i, (w, c) in enumerate(word_count.items()) if c >= 2} vocab['<PAD>'] = 0 # 填充符 vocab['<UNK>'] = 1 # 未知词 print('词表大小:', len(vocab))逻辑说明：词表里0和1留给填充符和未知词，真实词从2开始编号。参数上，词频阈值设2是平衡点，设1会让词表膨胀到几万，嵌入层参数暴增且大部分是噪声；设5会丢掉一些领域词。词表大小建议控制在2万以内，超过这个数就该考虑用预训练词向量或者做子词切分。
3. LSTM模型搭建：从嵌入层到分类头的每一层参数怎么定
3.1 嵌入层：维度选128还是300
嵌入层把词ID映射成稠密向量，是模型理解语义的起点。维度太小表达力不够，太大则参数多、易过拟合。对于几万条评论的数据集，128维是稳妥选择；如果你有几十万条数据，可以上300维。
import torch import torch.nn as nn class SentimentLSTM(nn.Module): def __init__(self, vocab_size, embed_dim=128, hidden_dim=128, num_layers=1): super().__init__() # padding_idx=0保证填充符不参与梯度更新 self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.lstm = nn.LSTM( input_size=embed_dim, hidden_size=hidden_dim, num_layers=num_layers, batch_first=True, # 输入格式为(batch, seq, feature) bidirectional=True # 双向能同时看前后文 ) self.dropout = nn.Dropout(0.5) # 双向输出拼接后是hidden_dim*2 self.fc = nn.Linear(hidden_dim * 2, 2) def forward(self, x): emb = self.embedding(x) out, (h, c) = self.lstm(emb) # 取最后一个时间步的输出作为句子表示 last = out[:, -1, :] last = self.dropout(last) return self.fc(last)逻辑说明：padding_idx=0很关键，不加的话填充符也会被当成有意义的词参与训练。bidirectional=True让每个时间步的输出同时包含正向和反向的上下文信息，对情感分析这种需要看整句的任务提升明显。dropout=0.5是防过拟合的常规手段，数据量小的时候可以提到0.6。
3.2 序列填充与DataLoader：batch内长度对齐的坑
LSTM要求一个batch内所有序列长度一致，所以要把短句补到该batch的最长长度。这里有个常见翻车点：如果按全局最大长度填充，会浪费大量计算；正确做法是每个batch动态填充。
from torch.utils.data import Dataset, DataLoader from torch.nn.utils.rnn import pad_sequence class SentimentDataset(Dataset): def __init__(self, texts, labels, vocab, max_len=100): self.data = [] for text, label in zip(texts, labels): ids = [vocab.get(w, 1) for w in jieba.lcut(text)][:max_len] self.data.append((torch.tensor(ids), torch.tensor(label))) def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx] def collate_fn(batch): texts, labels = zip(*batch) # pad_sequence自动补到本batch最长，padding值用0 texts = pad_sequence(texts, batch_first=True, padding_value=0) return texts, torch.tensor(labels) dataset = SentimentDataset(df['text'].tolist(), df['label'].tolist(), vocab) loader = DataLoader(dataset, batch_size=32, shuffle=True, collate_fn=collate_fn)逻辑说明：max_len=100截断长文本，评论类数据99%在100字以内。collate_fn里用pad_sequence做动态填充，比手动补到固定长度效率高。batch_size设32是CPU能承受的值，有GPU可以上64或128。注意shuffle=True只在训练集开，验证集和测试集要关掉。
3.3 训练循环：学习率、早停和梯度裁剪
训练部分要盯三个东西：损失是否下降、验证集准确率是否提升、梯度是否爆炸。LSTM对梯度爆炸很敏感，必须加梯度裁剪。
from torch.optim import Adam from sklearn.metrics import accuracy_score device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = SentimentLSTM(len(vocab)).to(device) optimizer = Adam(model.parameters(), lr=1e-3) criterion = nn.CrossEntropyLoss() best_acc = 0 for epoch in range(10): model.train() for texts, labels in loader: texts, labels = texts.to(device), labels.to(device) optimizer.zero_grad() logits = model(texts) loss = criterion(logits, labels) loss.backward() # 梯度裁剪，防止LSTM梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0) optimizer.step() # 每个epoch后在验证集上评估，这里省略验证集代码 print(f'epoch {epoch}, loss {loss.item():.4f}')逻辑说明：学习率1e-3是Adam的常用起点，如果loss震荡就降到5e-4。clip_grad_norm_的max_norm设5.0，这是LSTM训练的标配，不加的话loss很容易变成nan。早停策略是验证集准确率连续3个epoch不提升就停，能省不少时间。
4. 推理与部署：把模型变成能对外服务的接口
4.1 单条推理：加载权重和预处理必须一致
训练完保存的是state_dict，推理时要重建同样的模型结构再加载。这里最容易翻车的是预处理不一致——训练时用了清洗和分词，推理时忘了，结果输入分布对不上，预测全错。
def predict(text, model, vocab, max_len=100): model.eval() # 预处理必须和训练时完全一致 text = clean_text(text) ids = [vocab.get(w, 1) for w in jieba.lcut(text)][:max_len] tensor = torch.tensor(ids).unsqueeze(0).to(device) # 增加batch维度 with torch.no_grad(): logits = model(tensor) prob = torch.softmax(logits, dim=1) pred = torch.argmax(prob, dim=1).item() return ('正面' if pred == 1 else '负面'), prob[0][pred].item() # 保存和加载 torch.save(model.state_dict(), 'senti_lstm.pt') model.load_state_dict(torch.load('senti_lstm.pt', map_location=device)) print(predict('物流很快，质量也不错', model, vocab))逻辑说明：unsqueeze(0)是因为模型forward要求输入是(batch, seq)格式，单条推理也要凑出batch维度。torch.no_grad()关闭梯度计算，推理速度能快一倍。返回置信度是为了让业务方知道模型有多确定，低于0.6的结果建议人工复核。
4.2 批量推理与性能：一次处理多条评论
实际业务里往往是批量处理，逐条循环太慢。可以把多条文本填充到同一长度后一次性推理。
def batch_predict(texts, model, vocab, max_len=100, batch_size=64): model.eval() results = [] for i in range(0, len(texts), batch_size): batch = texts[i:i+batch_size] tensors = [] for t in batch: ids = [vocab.get(w, 1) for w in jieba.lcut(clean_text(t))][:max_len] tensors.append(torch.tensor(ids)) padded = pad_sequence(tensors, batch_first=True, padding_value=0).to(device) with torch.no_grad(): logits = model(padded) preds = torch.argmax(logits, dim=1).tolist() results.extend(preds) return results逻辑说明：batch_size设64是CPU上的平衡点，GPU可以上256。注意这里每条文本单独分词再填充，和训练时的collate_fn逻辑一致。如果要做成HTTP服务，用Flask包一层即可，但要注意模型加载一次后常驻内存，不要每次请求都重新加载。
5. 避坑与排查：这套系统最容易翻车的5个地方
5.1 现象：训练loss正常下降，但验证集准确率一直50%左右
原因：标签和文本没对齐，或者词表构建时用了全部数据导致信息泄露。更隐蔽的一种是DataFrame索引在清洗后没重置，df['label']和df['text']错位了。
解决：清洗后立刻执行df = df.reset_index(drop=True)，然后在构建Dataset前打印前5条(text, label)人工核对。词表必须只用训练集构建，验证集和测试集里的词如果不在词表就映射为<UNK>。
5.2 现象：推理时预测结果全是正面或全是负面
原因：类别不平衡导致模型学会了「全猜多数类」。比如负面样本只占10%，模型全猜正面也有90%准确率，但实际没用。
解决：在CrossEntropyLoss里加类别权重，weight=torch.tensor([1.0, 9.0])，少数类权重给大。或者对少数类做上采样。评估时不能只看准确率，要看F1值。
5.3 现象：loss变成nan，训练直接崩掉
原因：梯度爆炸，LSTM在长序列上尤其容易发生。也可能是学习率设太大，或者输入里有超长序列。
解决：加梯度裁剪clip_grad_norm_(model.parameters(), max_norm=5.0)，学习率降到1e-3以下，max_len截断到100以内。如果还崩，检查输入ID有没有超出词表范围，vocab.get(w, 1)的默认值必须是<UNK>的ID。
5.4 现象：模型在测试集上表现好，上线后效果差
原因：训练数据和真实数据分布不一致。比如训练用的是电商评论，上线后处理的是客服工单，用词风格完全不同。
解决：上线前用真实场景数据做一次小规模测试，如果F1低于0.7，需要用新数据微调。微调时学习率设小一点，1e-4左右，只训练几个epoch。
5.5 现象：分词结果不符合预期，把关键情感词切碎了
原因：jieba默认词典不含领域词，比如「绝绝子」「yyds」会被切错。
解决：用jieba.add_word()添加自定义词，或者加载自定义词典jieba.load_userdict('dict.txt')。情感分析里否定词和程度副词尤其重要，「不」「很」「太」这些词如果被切错，情感极性直接反转。
6. 进阶技巧：用预训练词向量和注意力机制把准确率再提5个点
前面搭的是从零训练的版本，词向量是随机初始化的，在小数据集上表达力有限。如果你想让效果再上一个台阶，有两个改动性价比最高。
第一个是用预训练词向量初始化嵌入层。常见做法是加载中文词向量文件，把词表里能对上的词填进去，对不上的保持随机。代码上就是在模型初始化后加一段：
def load_pretrained_embedding(model, vocab, vec_path, dim=128): import numpy as np # 假设vec_path是文本格式：词 向量值... pretrained = {} with open(vec_path, 'r', encoding='utf-8') as f: for line in f: parts = line.strip().split() if len(parts) == dim + 1: pretrained[parts[0]] = np.array(parts[1:], dtype=np.float32) hit = 0 with torch.no_grad(): for word, idx in vocab.items(): if word in pretrained: model.embedding.weight[idx] = torch.tensor(pretrained[word]) hit += 1 print(f'命中预训练词: {hit}/{len(vocab)}') return model逻辑说明：命中率能到70%以上就值得用，低于50%提升有限。加载后建议先冻结嵌入层训练1到2个epoch，再解冻一起微调，这样更稳。
第二个是加注意力机制。LSTM最后一个时间步的输出其实丢掉了中间步的信息，加一个注意力层让模型自己决定哪些词重要：
class AttentionLSTM(nn.Module): def __init__(self, vocab_size, embed_dim=128, hidden_dim=128): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True, bidirectional=True) self.attn = nn.Linear(hidden_dim * 2, 1) self.fc = nn.Linear(hidden_dim * 2, 2) def forward(self, x): emb = self.embedding(x) out, _ = self.lstm(emb) # (batch, seq, hidden*2) scores = self.attn(out).squeeze(-1) # (batch, seq) # mask掉padding位置，避免注意力分配到填充符上 mask = (x != 0).float() scores = scores.masked_fill(mask == 0, -1e9) weights = torch.softmax(scores, dim=1).unsqueeze(-1) context = (out * weights).sum(dim=1) # 加权求和 return self.fc(context)逻辑说明：masked_fill把填充位置的注意力分数压到负无穷，softmax后这些位置权重为0。context是所有时间步的加权和，比只取最后一步信息更全。这个改动在3万条以上的数据集上通常能带来3到5个点的F1提升，数据量小的时候提升不明显，甚至可能过拟合。
验证方法很简单：固定随机种子，同一份数据分别跑基线LSTM和AttentionLSTM，对比测试集F1。如果提升不到1个点，说明你的数据量还不够，先把数据扩到5万条以上再试。我自己的习惯是每次改动只动一个变量，改完立刻跑一次完整评估，把结果记在表格里，不然改多了根本不知道是哪个改动起了作用。这套系统从环境到部署大概两天能跑通，真正花时间的是调参和清洗数据，希望帮到你。
本文还有配套的精品资源，点击获取
