简介：今日头条中文新闻（文本）分类数据集是面向自然语言处理入门者的中文新闻分类语料，覆盖国际、国内、娱乐、体育等多个类目，适合用来练习文本分类全流程。整个压缩包共四份文件，含两份说明文档、一个数据获取脚本和一个数据压缩包，整体约二十五点六七兆字节。目前已有九百八十五人学习下载，在中文文本分类练习数据中具备一定认可度。说明文档整理了数据集的字段结构、训练、验证、测试划分方式及类别标签说明，方便快速上手；数据压缩包内封装了后续建模所需的文本样本，结合脚本可快速准备数据。拿到后可自行完成数据预处理、特征表示、模型构建与评估，也可以尝试嵌入、微调等进阶方法，是一份兼顾教学与实战的中文文本分类资源。
1. 为什么“今日头条中文新闻（文本）分类数据集.zip”值得认真拆一遍
一个从网盘拖下来的“今日头条中文新闻（文本）分类数据集.zip”，解压后是几十万条带频道标签的新闻数据，覆盖体育、财经、娱乐、科技等常见内容分类。它是中文短文本分类最常见的入门数据集之一，很多博客用它演示朴素贝叶斯、TF-IDF、甚至 BERT 微调。可这个 zip 并非开箱即用：字段用_!_分隔，正文可能截断或为空，标签存在长尾，URL 里还藏着分类线索。这篇文章我会按自己处理这个数据集的流程，从解压体检、清洗切分，到训练基线和泄漏验证，给出可以直接抄走的命令和代码。
2. 解压与体检：先摸清头条中文新闻数据集的真实结构
拿到 zip 的第一步不是写模型，而是确认里面到底有几个文件、什么编码、每行几列。常见做法是把压缩包解压到单独目录，然后用file和head快速判断文本格式。
mkdir -p toutiao_data unzip -q "今日头条中文新闻（文本）分类数据集.zip" -d toutiao_data file toutiao_data/* head -n 3 toutiao_data/*.txt wc -l toutiao_data/*.txt这里unzip -q只输出解压过程中的错误，避免刷屏；-d指定目标目录。file能识别文本是 UTF-8 还是 GBK 编码，以及有没有 BOM。head用来观察分隔符，这个数据集大多使用_!_作为分隔符，一行包含标签编号、分类名、URL、标题、关键词、正文共六个字段。wc -l统计总行数，如果解压出来多个 txt，可以用cat *.txt > all.txt合并后再处理。
如果直接解压提示文件名乱码，常见原因是压缩包在 Windows 下用 GBK 记录文件名，而当前系统是 UTF-8。此时可以安装unzip的替代工具，或使用 Python 的zipfile在读取时手动重编码。另外注意压缩包是否是分卷格式，如果同目录下存在.z01、.z02这类后缀文件，必须把全部分卷放在同一个目录，再对主压缩包执行unzip；缺少任一分卷会直接报Invalid central directory之类的错误。
2.1 用 Pandas 读取并确认字段
确认分隔符之后，用pandas.read_csv读取前几行是最快的验证方式。
import pandas as pd df = pd.read_csv( "toutiao_data/toutiao_cat_data.txt", header=None, sep="_!_", names=["label_id", "category", "url", "title", "keywords", "content"], nrows=10, ) print(df[["label_id", "category", "title"]].head())sep="_!_"表示按三个字符的分隔符切列，header=None表示源文件没有列名。names按顺序指定六个字段名，这样后续代码不必再用下标访问。nrows=10先只读 10 行，防止一次性读入超大文件占用过多内存。确认格式无误后，去掉nrows参数全量读取。
更保险的做法是用zipfile先列出压缩包内的文件名和大小，避免解压出隐藏的额外文件：
import zipfile with zipfile.ZipFile("今日头条中文新闻（文本）分类数据集.zip") as zf: for info in zf.infolist(): print(info.filename, info.file_size)infolist()返回每个压缩条目的元信息，file_size是解压后大小。如果你只差几 KB 就能判断文件类型，直接这样打印比unzip -l更省事，尤其适合在 Jupyter Notebook 里做数据探查。
2.2 用数据质量报告找出脏数据
一个标准的头条新闻分类数据集中，每条样本的字段质量参差不齐：
| 字段 | 常见问题 | 处理建议 |
|---|---|---|
| label_id | 存在未知编号 | 对照 category 校验 |
| category | 类别名不一致（如“体育”与“体育新闻”） | 统一映射 |
| url | 有重复或丢失 | 用于去重，不作为特征 |
| title | 可能为空或只有标题党文本 | 至少保留 5 个字符 |
| keywords | 大量为空 | 单独校验是否泄漏 |
| content | 截断、HTML 标签残留 | 清洗正文 |
用下面的代码检查缺失值、重复行和类别分布：
print(df.isnull().sum()) print(df.duplicated(subset=["title"]).sum()) print(df["category"].value_counts())df.isnull().sum()按列统计缺失值，这里主要是keywords和content可能缺失。duplicated(subset=["title"])统计标题重复的样本，新闻网站转载场景下重复率可能超过 3%。value_counts()展示每个类别的样本量，头条这一版通常有 15 个左右的一级分类，头部类别和尾部类别数量可能相差 5 倍。如果某些类别的label_id和category对应关系异常，比如两个不同编号映射到同一个中文名，建议直接以category为准重新映射。
3. 清洗与切分：把头条新闻文本数据整理成标准训练集
洗数据决定分类任务的上限。第 2 章只是看了全貌，这一章要解决三个问题：标签怎么编码、文本怎么表示、数据怎么切分。
3.1 标签编码与类别权重
数据集的label_id本身是数字，但数字之间有空隙，直接用原始数值当作分类输出会让模型学到无意义的顺序关系。常见做法是用LabelEncoder重新编码。
from sklearn.preprocessing import LabelEncoder df["label_id"] = df["label_id"].astype(int) le = LabelEncoder() y = le.fit_transform(df["label_id"]) # 保留标签映射，后续预测结果要还原成中文类别名 label_name_map = dict(zip(df["label_id"], df["category"])) class_names = le.classes_LabelEncoder会按数字大小排序并压缩成 0 到n_classes-1的连续整数，classes_保存这个映射。训练完成后用le.inverse_transform(pred)就能把 0、1、2 还原成原始标签编号。
如果某个类别的样本量特别少，例如只有 3000 条，而多数类别有 30000 条，需要记录类别权重。LogisticRegression(class_weight="balanced")会在损失函数里按样本量倒数放大少数类惩罚，避免模型把所有样本都预测成头部类别。这个参数在后续训练代码里要保留。
还需要检查category字符串本身的稳定性。有的发布版本使用“历史”，有的使用“文化”，直接用category作为标签文件会在不同版本间造成迁移困难。我习惯以label_id为准，再手工维护一份label_id -> 中文名的映射，这样即使类别名变了，标签语义仍保持一致。
3.2 选择文本字段并做分词
头条新闻数据集里最有信息量的字段通常是title和keywords，而不是整篇content。短文本分类场景下，标题已经包含了事件主体和情感倾向，content反而会引入大量与分类无关的铺垫文字。我一般会把标题和关键词拼接，正文截取前 80 个字符用于补充上下文。
import jieba df["text"] = df["title"].fillna("") + " " + df["keywords"].fillna("") + " " + df["content"].str[:80].fillna("") df["text"] = df["text"].apply(lambda x: " ".join(jieba.lcut(x)))jieba.lcut返回分词后的列表，join成空格分隔的字符串，这是 scikit-learn 的TfidfVectorizer最容易接收的格式。这里没有先去掉停用词，原因是对新闻分类而言，“今日”“记者”“报道”等词对判别频道贡献不大，但它们对区分“娱乐八卦”和“时政新闻”仍有一定作用；如果只保留高频词，模型会更稳定。
也可以不用分词，现在的中文预训练模型直接吃原始字符，但在传统机器学习方案里，分词是必须的。分词错误会导致后续 TF-IDF 特征错位，比如把“中国大陆”切成了“中国”和“大陆”，对类别判断影响不大，但会增加特征维度。头条新闻标题里的大量缩略语，例如“进博会”“脱欧”，会随着数据规模增长成为独立特征，不必额外维护词典。
3.3 按类别分层切分数据集
切分训练集和验证集时，不能直接shuffle，因为真实新闻数据有强烈的发布时间相关性，同一个事件可能在短时间内被多家媒体重复报道，聚类效应会让随机切分的高分不可信。
from sklearn.model_selection import train_test_split X_train, X_val, y_train, y_val = train_test_split( df["text"], y, test_size=0.1, stratify=y, random_state=42 ) print(X_train.shape, X_val.shape)stratify=y会保证切分前后各类别比例一致，这个参数对不均衡数据集非常重要。random_state=42固定随机种子，复现实验结果。如果后续要更严谨，建议按url中的域名做分组切分，让同一个来源的新闻只出现在训练集或验证集，避免模型记住来源特征。域名提取可以这样实现：
from urllib.parse import urlparse def get_domain(url): try: return urlparse(url).netloc except Exception: return "unknown" df["domain"] = df["url"].astype(str).apply(get_domain)先用train_test_split切出验证集，再把训练集按domain去重，能显著降低分数虚高的概率。
4. 训练一个能从零开始跑通的头条新闻文本分类模型
这一章给出最小可复现的基准模型：TF-IDF 加逻辑回归。它训练速度快，调参直观，还能作为后续 BERT 方案的对照。
4.1 用 Pipeline 串联 TF-IDF 与逻辑回归
from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline model = Pipeline( [ ( "tfidf", TfidfVectorizer(max_features=20000, ngram_range=(1, 2), sublinear_tf=True), ), ("clf", LogisticRegression(max_iter=1000, C=1.0, n_jobs=-1)), ] ) model.fit(X_train, y_train)max_features=20000限制词表大小，头条标题的中文词数量大约在 10 万量级，只看最高频的 2 万词能显著降低过拟合风险。ngram_range=(1, 2)同时保留单词和双词组合，能抓到“虚拟现实”“乡村振兴”这类有明确频道倾向的短语。sublinear_tf=True对词频取1 + log(tf)，减弱长文本里高频词的影响力。C=1.0是逻辑回归的正则化强度，值越小正则越强，头条这种高维稀疏特征场景一般不需要小于 0.1。
如果你想把C也放进参数搜索，可以直接在LogisticRegression里加class_weight="balanced"，处理少数类样本。注意n_jobs=-1只对多项式或 OvR 多分类生效，对默认的 Multinomial Logistic Regression 没有加速效果，所以不要因为看到 CPU 没跑满就怀疑代码有问题。
4.2 用宏平均 F1 而不是准确率评估
类别不平衡会让准确率虚高：如果 15 类中有 2 类占了 60%，无脑预测这两类也能拿到 60% 的准确率。所以只看accuracy_score会误判模型好坏。
from sklearn.metrics import classification_report y_pred = model.predict(X_val) print(classification_report(y_val, y_pred, target_names=class_names))输出的macro avg是每个类别的 F1 简单平均，它给少数类同样的权重，数值低于准确率时说明少数类被牺牲了。weighted avg则按样本量加权，更接近真实业务感受。头条数据集上的合理基线是宏平均 F1 在 0.78 到 0.84 之间，具体数值取决于你保留了多少字段以及验证集切分方式。如果weighted avg明显高于macro avg，说明模型对高频类拟合得更好，少数类仍有提升空间。
4.3 参数组合与调优方向
| 参数 | 搜索范围 | 说明 |
|---|---|---|
| max_features | 5000 ~ 50000 | 太小欠拟合，太大过拟合 |
| ngram_range | (1,1) / (1,2) / (1,3) | 头条标题较短，(1,2) 性价比最高 |
| sublinear_tf | True / False | 对长正文有效，单用标题时影响小 |
| C | 0.1 ~ 10 | 逻辑回归正则强度 |
| class_weight | None / balanced | 少数类必须开 |
调参时可以先用GridSearchCV在小样本上跑一遍，确定量级后再全量搜索。不要把TfidfVectorizer的token_pattern改成纯数字，否则会把“2019”和“2020”拆成一堆数字特征，对文本分类没有帮助。
得到满意的验证集分数后，用joblib.dump(model, "toutiao_text_clf.joblib")保存模型。之后的预测流程里，只要把用户输入做同样的 jieba 分词，再调用model.predict就能返回类别。
import joblib joblib.dump(model, "toutiao_text_clf.joblib") loaded_model = joblib.load("toutiao_text_clf.joblib") new_text = " ".join(jieba.lcut("国足今晚迎战日本队")) pred_id = loaded_model.predict([new_text])[0] print(le.inverse_transform([pred_id]))这里joblib.dump会把整个 Pipeline 连同 TF-IDF 词表一起保存，加载后不需要重新训练。预测时输入必须是字符串列表，所以new_text用中括号包了一层。le.inverse_transform把模型输出的连续编号还原成原始label_id，之后再用label_name_map转成中文类别名。
5. 用“去掉关键词”验证头条文本分类模型是否真的学到了语义
模型在验证集上的分数高，不代表它学到了新闻语义。头条数据集的url和keywords字段里存在明显的标签泄漏：URL 中的栏目名以及关键词本身，常常直接透出分类结果。如果训练时把这些字段放进特征，模型会依赖捷径，部署时一旦拿不到这些字段，分数会断崖下跌。
5.1 单独用关键词训练，测试泄漏程度
from sklearn.model_selection import cross_val_score import numpy as np X_keywords = df["keywords"].fillna("") kw_model = LogisticRegression(max_iter=1000, class_weight="balanced") scores = cross_val_score(kw_model, X_keywords, y, cv=3, scoring="f1_macro") print(np.mean(scores))如果单独用关键词做特征，得到的宏平均 F1 超过了 0.85，说明关键词字段几乎是标签的投影。此时应回到第 4 章，把df["text"]里的keywords部分去掉，只用标题和正文训练模型，再对比分数。通常去掉关键词后,宏平均 F1 会下降 5 到 10 个百分点，这是正常现象；真正危险的是去掉后分数几乎不变，那说明特征里还隐藏着更隐晦的泄漏源，例如 URL 中的频道目录。
5.2 抽取预测错误样本做人工校验
自动化指标之外，人工看错误样本是必要的。下面这段代码从验证集中挑出预测错误的样本，输出标题、真实类别和预测类别。
import random random.seed(2024) mis_idx = [i for i, (t, p) in enumerate(zip(y_val, y_pred)) if t != p] sample_idx = random.sample(mis_idx, min(30, len(mis_idx))) for i in sample_idx: original_row = df.iloc[i] print( original_row["title"], le.inverse_transform([y_val[i]])[0], "->", le.inverse_transform([y_pred[i]])[0], )常见的错误是“体育”和“娱乐”互混，例如一条“詹姆斯晒出全家福”的新闻，模型判断为娱乐是合理的，因为标题里没有出现任何体育赛事信息。这类错误不能靠增加模型容量解决，只能靠补充知识或改为多标签分类。最终发布前，把模型在去掉keywords后的验证集上重新评估，保留那个更保守的分数作为对外宣称的性能指标；如果两个分数差距过大，就把第 4 章 Pipeline 里的text字段拼接逻辑改为只用title，再重新走一遍训练流程。
本文还有配套的精品资源，点击获取
