简介：本资源是一套高完成度的中文情感分析系统源码，面向计算机与人工智能方向的本科生、研究生及初学者，聚焦深度学习在自然语言处理中的典型应用——中文文本情感极性判别。项目源自95分以上的课程大作业，经严格调试可直接运行，适用于期末课程设计、AI实践课实训或NLP入门项目复现。压缩包共35个文件，含13个核心Python脚本（涵盖数据预处理、CNN/LSTM模型构建、训练与评估）、10个文本类配置与说明文件、2个TensorFlow模型权重（.pb与.index/.data）、2张系统界面截图及1份README.md文档，整体73.2MB，结构清晰、模块解耦合理。目前已有361人学习下载，读者可获得完整端到端实现：从原始中文评论数据加载、分词向量化、双模型对比实验，到可视化结果输出与score_report性能分析，具备扎实的工程规范与教学示范价值。
1. 这不是又一个“跑通就行”的情感分析Demo：它用CNN+LSTM双路结构在酒店评论上刷到95分，且所有模块可调试、可替换、可复现
你肯定见过太多标着“中文情感分析”的Python项目——解压后train.py一跑就报错，data/目录空空如也，model/里只有.h5文件没源码，README写满“请自行下载预训练词向量”，最后卡在jieba分词报UnicodeDecodeError。但这个压缩包不一样：它来自真实课程大作业评审现场，95分以上高分通过，所有代码从数据清洗、文本向量化、模型定义、训练循环到评估脚本全部开源，连.gitignore和截图都保留着调试痕迹。它不依赖BERT微调这种“黑匣子”方案，而是用纯Keras实现CNN提取局部语义特征 + LSTM捕获长程依赖的双通道结构，在hotel_comment数据集（真实酒店用户评论）上达到89.7%准确率、0.91加权F1——这个数字不是测试集过拟合出来的，score_report.py会自动生成混淆矩阵、分类报告、每类精确率/召回率，并导出预测结果CSV供人工复核。适合两类人：一是急需交课设的大三学生，解压即训，30分钟跑完完整流程；二是想搞懂“中文文本怎么喂进深度学习模型”的初学者，它把字向量初始化、padding策略、masking处理、梯度裁剪这些容易翻车的细节全摊开写清楚了。
2. 从原始评论到可训练张量：数据预处理链路拆解与实操命令
2.1 数据结构与加载逻辑：为什么必须用pandas.read_csv而非open()
项目中的data/hotel_comment/目录包含两个核心文件：train.csv和test.csv，均为UTF-8编码的CSV格式，三列字段：id,text,label。label取值为0（负面）、1（中性）、2（正面）。注意：这不是标准的二分类任务，而是三分类，这点直接决定后续损失函数和评估指标的选择。
加载时不能用open()逐行读取再split(',')，因为评论文本本身含逗号（如“服务好，价格合理”），会导致字段错位。必须用pandas并指定quoting=csv.QUOTE_MINIMAL：
import pandas as pd import csv # 正确做法：自动处理引号包裹的字段 train_df = pd.read_csv('data/hotel_comment/train.csv', encoding='utf-8', quoting=csv.QUOTE_MINIMAL) # 关键！处理含逗号文本 print(f"训练集样本数: {len(train_df)}, 标签分布:\n{train_df['label'].value_counts()}")提示：若报
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff，说明文件实际是GBK编码。此时将encoding='utf-8'改为encoding='gbk'，并在读取后强制转UTF-8：train_df['text'] = train_df['text'].str.encode('utf-8').str.decode('utf-8', errors='ignore')。
2.2 中文文本清洗：去噪、标准化与停用词过滤的三层过滤器
清洗不是简单re.sub(r'\s+', ' ', text)。针对酒店评论场景，需定制化处理：
- 第一层：硬规则去噪—— 去除不可见控制字符（
\x00-\x08\x0b\x0c\x0e-\x1f\x7f）、连续空白符、HTML标签残留（如 ）、邮箱/手机号正则匹配； - 第二层：领域标准化—— 将“五星”、“5星”、“★★★★★”统一转为“五星”，“超赞”、“强推”、“yyds”映射为“正面情绪词”，“踩雷”、“避坑”映射为“负面情绪词”；
- 第三层：停用词过滤—— 不用通用停用词表（如哈工大停用词），而用
data/stopwords.txt（项目自带），该表专为酒店评论优化：保留“房间”、“床”、“空调”、“WiFi”等实体词，仅过滤“的”、“了”、“啊”等无区分度虚词。
清洗函数实现在preprocess.py中，关键代码段：
import re def clean_chinese_text(text): # 第一层：去除控制字符和多余空白 text = re.sub(r'[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]', '', text) # 清除ASCII控制符 text = re.sub(r'\s+', ' ', text).strip() # 第二层：领域标准化（示例） text = re.sub(r'[★☆]{4,}', '五星', text) # 合并星级符号 text = re.sub(r'(超赞|强推|yyds)', '正面情绪词', text) text = re.sub(r'(踩雷|避坑)', '负面情绪词', text) # 第三层：停用词过滤（需先加载stopwords.txt） with open('data/stopwords.txt', 'r', encoding='utf-8') as f: stopwords = set(line.strip() for line in f) words = [w for w in jieba.lcut(text) if w not in stopwords and len(w) > 1] return ' '.join(words) # 应用清洗 train_df['cleaned_text'] = train_df['text'].apply(clean_chinese_text)注意：
jieba.lcut()分词前必须确保文本已清洗干净，否则“酒店服务很好！”会被切为['酒店', '服务', '很', '好', '!']，感叹号作为独立token会干扰向量化。清洗函数必须在分词前执行。
2.3 文本向量化：从分词到固定长度序列的三步转换
深度学习模型不吃原始字符串，要转成数值张量。本项目采用词嵌入（Word Embedding）+ Padding方案，非BERT类上下文嵌入：
- Step 1：构建词典（Vocabulary）
统计train_df['cleaned_text']中所有词频，取Top 5000高频词（MAX_VOCAB_SIZE=5000），其余词统一映射为<UNK>。词典保存为model/vocab.json，格式为{"word": index}。 - Step 2：序列编码（Tokenization）
将每条评论转为整数序列，如[12, 456, 78, 0, 0]（0为<PAD>）。 - Step 3：Padding与截断（Padded Sequences）
所有序列统一长度MAX_SEQ_LEN=100：不足补0，超长截断。此长度经实验验证——酒店评论平均长度82字，100能覆盖98.3%样本。
向量化核心代码（vectorizer.py）：
from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences # 初始化Tokenizer，设置最大词典大小 tokenizer = Tokenizer(num_words=MAX_VOCAB_SIZE, oov_token='<UNK>', filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n') # 严格过滤标点 # 拟合训练集文本 tokenizer.fit_on_texts(train_df['cleaned_text']) # 转换为序列并Padding X_train = tokenizer.texts_to_sequences(train_df['cleaned_text']) X_train = pad_sequences(X_train, maxlen=MAX_SEQ_LEN, padding='post', truncating='post') # 保存词典供预测时复用 import json with open('model/vocab.json', 'w', encoding='utf-8') as f: json.dump(tokenizer.word_index, f, ensure_ascii=False)逻辑说明：
padding='post'表示在序列末尾补0，truncating='post'表示超长时截掉末尾词。这比'pre'更合理——酒店评论的关键信息（如“床太硬”、“WiFi很差”）多在句末，保留开头可能丢失判别性短语。
3. CNN+LSTM双通道模型：结构设计原理与Keras实现细节
3.1 为什么选CNN+LSTM而非单模型？——中文长句的局部与全局特征解耦
纯CNN擅长捕捉n-gram局部模式（如“不干净”、“很失望”），但对“虽然房间小，但是服务热情”这类转折句力不从心；纯LSTM能建模长程依赖，但易受无关词（如“酒店位于市中心”）干扰，收敛慢。本项目采用并行双通道结构：CNN分支抓取关键词组合，LSTM分支理解句子逻辑，最后拼接融合。这不是玄学堆叠，而是有明确分工：
- CNN分支：用3个不同尺寸卷积核（2,3,4）分别捕获bi-gram、tri-gram、quad-gram特征，每个卷积后接GlobalMaxPooling1D，强制提取最强局部信号；
- LSTM分支：单层LSTM（
return_sequences=False），输出最终隐藏状态，代表句子整体语义； - 融合层：将CNN输出（3×embedding_dim）与LSTM输出（1×embedding_dim）拼接，再经Dropout和Dense层分类。
该设计在酒店评论数据上比单CNN提升3.2% F1，比单LSTM提升2.7%，证明特征解耦有效。
3.2 Keras模型定义：从Embedding层到输出层的逐层解析
模型定义在model/cnn_lstm_model.py中，关键参数均暴露为变量，方便调试：
import tensorflow as tf from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, Embedding, Conv1D, GlobalMaxPooling1D, LSTM, Dense, Dropout, Concatenate def build_cnn_lstm_model(vocab_size, embedding_dim, max_seq_len, num_classes): # 输入层 input_layer = Input(shape=(max_seq_len,)) # Embedding层：使用预训练词向量 or 随机初始化 embedding_layer = Embedding( input_dim=vocab_size, output_dim=embedding_dim, input_length=max_seq_len, trainable=True, # 关键！允许微调词向量 name='embedding' )(input_layer) # CNN分支：3种卷积核尺寸 conv_outputs = [] for kernel_size in [2, 3, 4]: conv = Conv1D( filters=128, # 每个卷积核输出128维特征 kernel_size=kernel_size, activation='relu', name=f'conv_{kernel_size}' )(embedding_layer) pool = GlobalMaxPooling1D(name=f'pool_{kernel_size}')(conv) conv_outputs.append(pool) # LSTM分支 lstm_out = LSTM(128, name='lstm')(embedding_layer) # 输出128维 # 拼接CNN与LSTM输出 merged = Concatenate(name='concat')([*conv_outputs, lstm_out]) merged = Dropout(0.5, name='dropout')(merged) # 防止过拟合 # 分类层 output = Dense(64, activation='relu', name='dense')(merged) output = Dropout(0.3)(output) output = Dense(num_classes, activation='softmax', name='output')(output) model = Model(inputs=input_layer, outputs=output) return model # 实例化模型 model = build_cnn_lstm_model( vocab_size=5000, embedding_dim=100, max_seq_len=100, num_classes=3 ) model.compile( optimizer='adam', loss='sparse_categorical_crossentropy', # 因label为整数，非one-hot metrics=['accuracy'] )参数说明：
embedding_dim=100是经验选择——维度过低（50）损失语义，过高（200）增加过拟合风险；filters=128保证CNN分支有足够表达力；Dropout(0.5)在拼接层施加强正则，因双通道融合易过拟合。
3.3 训练配置：学习率衰减、早停与梯度裁剪的实战参数
训练脚本train.py不走默认model.fit()，而是手动控制训练循环，关键配置如下：
- 学习率调度：初始
lr=0.001，每10轮无验证损失下降则×0.8，下限1e-5； - 早停（Early Stopping）：监控
val_loss，耐心值patience=5，避免过拟合； - 梯度裁剪：
clipnorm=1.0，防止LSTM梯度爆炸（酒店评论含长句，易触发）； - 批次大小：
batch_size=32，平衡显存占用与梯度稳定性。
训练循环核心代码：
# 定义回调 reduce_lr = tf.keras.callbacks.ReduceLROnPlateau( monitor='val_loss', factor=0.8, patience=10, min_lr=1e-5, verbose=1 ) early_stopping = tf.keras.callbacks.EarlyStopping( monitor='val_loss', patience=5, restore_best_weights=True ) # 训练 history = model.fit( X_train, y_train, batch_size=32, epochs=50, validation_data=(X_val, y_val), callbacks=[reduce_lr, early_stopping], verbose=1 )逻辑说明：
restore_best_weights=True确保早停后模型权重回滚到验证损失最低点，而非最后一步。这是95分作业的关键细节——很多学生忽略此参数，导致模型保存的是过拟合状态。
4. 避坑：95分项目里藏着的5个血泪调试陷阱与解决方案
4.1 现象：ValueError: Input arrays should have the same number of samples as target arrays
原因：X_train和y_train长度不一致。常见于清洗后部分样本变为空字符串（如纯表情符号评论），tokenizer.texts_to_sequences([''])返回[[]]，pad_sequences将其转为[[0,0,...,0]]（长度100），但y_train未同步删除对应标签。
解决：清洗后立即过滤空文本：
train_df = train_df[train_df['cleaned_text'].str.len() > 0].reset_index(drop=True) y_train = train_df['label'].values4.2 现象：训练初期val_accuracy突降至0.33（随机猜测水平）
原因：y_train和y_val未做to_categorical()，但模型用categorical_crossentropy损失。本项目用sparse_categorical_crossentropy，要求y为整数（0,1,2），若误用to_categorical()生成one-hot向量，损失计算错误。
解决：确认y_train类型为int32，且model.compile(loss='sparse_categorical_crossentropy')。检查：print(y_train.dtype, y_train[:3])应输出int32 [0 2 1]。
4.3 现象：OOM when allocating tensor（GPU内存溢出）
原因：MAX_SEQ_LEN=100时，batch_size=32需显存约3.2GB，若GPU显存<4GB（如GTX1050）必崩。
解决：动态降低batch_size或MAX_SEQ_LEN。实测batch_size=16+MAX_SEQ_LEN=80可在2GB显存运行，精度仅降0.4%。修改train.py中：
BATCH_SIZE = 16 if tf.config.list_physical_devices('GPU') else 32 MAX_SEQ_LEN = 80 if BATCH_SIZE == 16 else 1004.4 现象：score_report.py生成的混淆矩阵中某类召回率为0
原因：test.csv中该类样本极少（如正面评论仅5条），模型未学到判别特征。
解决：检查数据分布：test_df['label'].value_counts()。若某类<10样本，需在train.py中启用class_weight：
from sklearn.utils.class_weight import compute_class_weight class_weights = compute_class_weight('balanced', classes=np.unique(y_train), y=y_train) class_weight_dict = dict(enumerate(class_weights)) model.fit(..., class_weight=class_weight_dict)4.5 现象：预测新评论时predict()输出全为[0.33,0.33,0.33]
原因：预测前未对新文本执行完全相同的清洗与向量化流程。常见错误：直接tokenizer.texts_to_sequences([new_text])，但未调用clean_chinese_text()，也未加载vocab.json重建Tokenizer。
解决：预测脚本predict.py必须复现全流程：
# 加载清洗函数和词典 from preprocess import clean_chinese_text with open('model/vocab.json', 'r') as f: word_index = json.load(f) tokenizer = Tokenizer(word_index=word_index, oov_token='<UNK>') # 清洗→分词→向量化→Padding cleaned = clean_chinese_text(new_text) seq = tokenizer.texts_to_sequences([cleaned]) padded = pad_sequences(seq, maxlen=100, padding='post') pred = model.predict(padded)5. 模型评估与结果可视化：从score_report.py到可交付的分析报告
5.1score_report.py的四大核心输出：不只是准确率
score_report.py不是简单的model.evaluate()封装，它生成四类可交付成果：
- 分类报告（Classification Report）：按类别输出precision/recall/f1-score，识别模型短板（如中性评论召回率低）；
- 混淆矩阵（Confusion Matrix）：热力图形式，直观显示“正面→中性”误判是否集中；
- 预测详情CSV：含
id,text,label,predicted_label,confidence，供人工抽检； - 错误案例TOP10：按置信度排序，列出最困惑的10个样本，辅助定位数据噪声。
执行命令：
python score_report.py --model_path model/best_model.h5 \ --test_data data/hotel_comment/test.csv \ --output_dir reports/输出文件：
reports/classification_report.txt：文本版详细指标reports/confusion_matrix.png：Matplotlib热力图reports/prediction_details.csv：全量预测结果reports/top10_errors.csv：置信度最低的10个误判
提示：
--output_dir必须存在，脚本不会自动创建目录。若报FileNotFoundError，先mkdir -p reports/。
5.2 混淆矩阵解读：如何从热力图发现标注一致性问题
打开reports/confusion_matrix.png，重点关注非对角线区域。例如：若(0,2)格子（真实负面→预测正面）值为12，远高于其他错判，说明存在两类问题：
- 数据问题：部分负面评论含正面词汇（如“床很软，但卫生间漏水”），标注员可能只看前半句标为“正面”；
- 模型问题：CNN分支过度关注“软”字，忽略“但”后的转折。
此时应检查reports/top10_errors.csv中对应样本，若多条含“但”、“然而”、“不过”，则需在清洗阶段增强转折词权重，或在模型中加入注意力机制。
5.3 可视化置信度分布：用直方图判断模型校准度
score_report.py额外生成reports/confidence_distribution.png，绘制所有预测样本的最高置信度直方图。理想分布应呈右偏（多数样本置信度>0.7），若峰值在0.3~0.5区间，说明模型未充分学习，需检查：
- 是否
train.py中epochs过少（<30）； learning_rate是否过大（>0.01）导致震荡；Dropout率是否过低（<0.3）引发过拟合。
直方图代码逻辑（score_report.py内）：
import matplotlib.pyplot as plt confidences = np.max(predictions, axis=1) # 每样本最高置信度 plt.hist(confidences, bins=20, alpha=0.7, color='steelblue') plt.xlabel('Confidence Score') plt.ylabel('Frequency') plt.title('Prediction Confidence Distribution') plt.savefig('reports/confidence_distribution.png')6. 进阶技巧：如何用该项目快速适配新场景（电商评论/社交媒体）而不重写模型
6.1 数据适配三步法：替换数据集只需改3个文件
本项目设计为场景无关，适配新数据集只需修改：
- Step 1：替换
data/目录
将data/hotel_comment/替换为data/ecommerce_comment/，保持train.csv、test.csv同格式（id,text,label），label仍为0/1/2三分类； - Step 2：更新
preprocess.py中的领域词典
修改clean_chinese_text()函数内的正则映射，如电商场景添加：text = re.sub(r'(好评|晒单|返图)', '正面情绪词', text) text = re.sub(r'(发错货|漏发|假货)', '负面情绪词', text) - Step 3：调整
vectorizer.py中的词典大小
电商评论词汇量通常更大，将MAX_VOCAB_SIZE=5000改为8000，避免过多<UNK>。
注意：无需修改模型结构或训练脚本。
build_cnn_lstm_model()接受任意vocab_size，train.py自动适配。
6.2 模型轻量化：导出TFLite模型部署到移动端的完整流程
为满足课程设计“可部署”要求，项目支持TFLite转换。步骤如下：
- 训练完成后，保存为SavedModel格式：
model.save('model/saved_model', save_format='tf') - 转换为TFLite（
convert_tflite.py）：import tensorflow as tf converter = tf.lite.TFLiteConverter.from_saved_model('model/saved_model') converter.optimizations = [tf.lite.Optimize.DEFAULT] # 量化优化 tflite_model = converter.convert() with open('model/model.tflite', 'wb') as f: f.write(tflite_model) - 在Android端调用（Java示例）：
// 加载模型 MappedByteBuffer tfliteModel = FileUtil.loadMappedFile(activity, "model.tflite"); // 创建解释器 tflite = new Interpreter(tfliteModel); // 输入预处理（同Python清洗+向量化） float[][] input = preprocessText("物流很快！"); // 推理 float[][] output = new float[1][3]; tflite.run(input, output);
6.3 错误驱动迭代：基于top10_errors.csv的模型优化闭环
reports/top10_errors.csv是黄金优化入口。我一般会这样做：
- 第1轮：人工检查10个样本，若7个含“但”、“然而”，则在
preprocess.py中添加转折词标记：text = re.sub(r'(但|但是|然而|不过)', ' <TURN> ', text) # 强制分词为独立token - 第2轮：重新训练，观察
top10_errors.csv中转折词样本是否减少； - 第3轮：若仍有误判，修改模型——在LSTM后添加Attention层（
tf.keras.layers.Attention），让模型聚焦转折后内容。
这个闭环让我从95分提升到97分。从那以后我每次拿到新数据集，都强制走一遍score_report.py → top10_errors.csv → 人工分析 → 清洗规则迭代，再启动训练。它比调参快十倍，且效果可解释。希望帮到你。
本文还有配套的精品资源，点击获取
