简介：《阿里研究院2024大模型训练数据白皮书》以PDF形式呈现，面向关注大语言模型与多模态模型训练数据的研究者、产品与数据治理从业者。内容从训练数据对大模型发展的基础作用切入，辨析模型训练所需数据类型及“依赖个人信息”“中文语料短缺”等常见误解，并讨论高质量数据的标准、三重不确定性与评估差异。针对供给不足，白皮书系统说明合成数据的定义、生成方法、分类及其在预训练和对齐语料中的作用，同时延伸到训练数据合规治理、中美训练数据生态比较及阿里巴巴集团实践。包内共1个PDF文件，大小约11.93MB，目录按八章展开，便于按主题检索和引用。已有323人学习，适合需要建立训练数据全貌认知、整理合规与合成数据议题框架的读者参考。
1. 一句反直觉的结论：训练大模型，其实不需要你的个人数据
翻完这份《大模型训练数据白皮书》，最先记住的不是那些规模数字，而是一个被摆到台面上的纠正：第三方测评里超过六成的受访者，把“盗取、泄露个人隐私数据”选为大模型最主要的风险点，而白皮书的判断正相反——训练阶段并不依赖个人信息，过量的个人数据反而会拖累模型能力。对常年做语言模型的人来说这不算新闻，但对采购、合规、产品侧的人来说，这是一次认知校准。更值得琢磨的是它随后给出的方向：瓶颈不在“数据够不够多”，而在高质量语料、多模态语料、领域知识这三块的供给结构，以及一个被认真讨论的新解法——合成数据。这条线索，才是这份文档真正的重量所在。
2. 语料结构的三个转向：从“广”到“齐”再到“专”的分层
把训练数据当成一个整体去谈，是过去两年最常见的偷懒。白皮书做的一件实事，是按训练阶段把数据需求拆开，拆完之后很多争论就自动消解了——你争论的到底是预训练要的语料，还是对齐要的语料，两者的评价标准根本不是一回事。
2.1 预训练吃“广”、对齐吃“齐”、行业模型吃“专”
文档把大语言模型的训练过程切成三段：预训练、监督微调、基于人类反馈的强化学习，后两段合称“对齐”。预训练阶段的语料是网页、书籍、新闻、论文期刊、对话文本、代码，特征是“广”，目的是让模型构建起对客观世界的基础理解；监督微调阶段由标注人员设计问答、编写正确答案，让模型在没见过的任务上举一反三；强化学习阶段则由人类对回答打分排序，让模型知道“怎么说更好”。这两段的语料特征被概括为“齐”，质量要求高，且必须有人类的高质量反馈参与。
再往下切一层，如果模型要落到工业、金融、医疗这类场景变成行业模型，还需要该场景的专业知识做预训练和对齐，语料特征是“专”，要有专业深度，来源是行业数据库、专业文档、专业网站。
这个三分法的价值在于它顺手解释了行业里长期存在的一个错位：拿着预训练的标准去采购对齐数据，或者拿对齐的标准去筛预训练语料，钱花了，效果出不来。做过数据采购的人大概都有血泪经验——供应商给过来的“高质量数据集”，清洗得干干净净、条数不多、标注精美，拿去做预训练根本不够吃；反过来，几百 TB 的原始网页扔进对齐流程，标注团队直接崩溃。
| 训练阶段 | 语料特征 | 典型来源 | 主要评价维度 |
|---|---|---|---|
| 预训练 | 广 | 网页、书籍、新闻、论文、代码、对话 | 规模、信息密度、去重率 |
| 监督微调 | 齐 | 人工设计的问答对、精编指令 | 准确性、一致性、覆盖任务面 |
| 强化学习对齐 | 齐 | 人类打分、排序、偏好数据 | 价值观一致性、标注者间一致性 |
| 行业模型 | 专 | 行业数据库、专业文档、专业站点 | 领域深度、时效性、可授权性 |
还有一层容易被忽略的差别：以前的搜索系统、个性化推荐，吃的是大量用户行为和偏好数据，靠用户画像、内容画像抽象出特征向量，算相似度做召回和排序。大模型要的是知识性内容，是一种新的数据类型。这个切换直接改变了数据供给侧的版图——过去卖行为日志的、卖点击流的那批供应商，在这条链路上几乎派不上用场；而手里握着教材、论文、专业文档、行业标准的一方，突然成了稀缺资源。从行业角度看，这也是近两年“语料采购”从边角料变成战略议题的根本原因。
2.2 多模态把图文对和视频-文本对推成硬通货
文档里对多模态部分的描述不长，但信息量足。以注意力机制为核心的架构从文本迁移到图像、视频、语音之后，多模态模型要模拟人类处理信息的方式，把各种感知模态结合起来。落到训练数据上，最刚需的是两类：图像-文本对，让模型学习像素之间的关联以及文字与图像的对应；视频-文本对，让模型不仅理解单个画面，还要理解视频中的时间序列和动态变化。
“时间序列和动态变化”这几个字，是多模态数据成本居高不下的根源。图像-文本对的标注，本质是描述一张静态图里有什么；视频-文本对要求标注者说清楚“先后发生了什么、因果是什么、动作如何衔接”。同样是一分钟素材，后者的标注工时可能是前者的十几倍，而且一致性极差——同一个视频，十个标注员能写出十种侧重。这就是为什么多模态模型的训练数据缺口，远比文本侧更难补。
文档还点出一个判断：伴随模型走向更通用，训练将不仅从文字中学习，也会从声音、图片和视频中学习，对合成多模态数据的需求会持续且大幅增加。这句话把合成数据从“备选”推到了“主线”的位置，后面第 4 章会展开。
2.3 高质量语料的耗尽时间表，把“量”的路线逼到墙角
文档引用了某估算机构的判断：书籍、科研论文这类高质量语言数据集，可能在 2024 年前后就接近耗尽。这个时间点的意义不在于精确，而在于它宣告了一条路径的终结——靠“把互联网再爬一遍”来续命，已经走不通了。
与之配套的是正在被探索的三条新数据源思路：一是把尚未数字化的知识数字化，比如大量未数字化的书籍和资料；二是利用机器感知数据，无人车、无人机、智能硬件产生的物理世界数据；三是用模型或算法批量生成新数据，也就是合成数据。三条路各有各的坑：数字化涉及版权与成本，机器感知数据涉及采集资质与场景覆盖，合成数据涉及保真度与偏差。
这里有个特别值得从业者留意的细节：文档提到“大模型的数据需求快速经历了从量到质的转换”。这句话翻译成业务语言是——过去两年数据团队的 KPI 是“拿到多少 T”，接下来要变成“单位 token 的信息密度是多少”。评估口径一变，采购合同、验收标准、供应商筛选逻辑全都要跟着改。还在按 TB 计价买通用网页数据的团队，大概率会在下一轮迭代里发现自己买的东西用不上，后悔药没处买。
3. 高质量数据的三重不确定性：为什么标准体系救不了场
“高质量数据”是这两年最被滥用的词之一。几乎每家做数据的公司都在宣称自己提供高质量语料，但没人能说清楚高质量的边界在哪。这份文档在这一块的论述是全书最硬的部分，它没有给出标准，而是给出了“为什么给不出标准”。
3.1 类型不确定：昨天的高质量是对话，今天是代码和教材
第一重不确定性来自语料种类，而语料种类由人类对模型能力的需求决定，需求又随着任务演变而漂移。文档给了一条清晰的时间线：2020 年前后，以对话能力为目标的模型阶段，对话文本被视为最重要的高质量数据；技术路线演进后，人们发现通用上下文理解才是重点，书籍和科研论文的占比被拉高，用来增强模型捕捉长距离依赖的能力；再往后，冲着通用人工智能去，能提升推理能力的语料被重视——一类是代码，因为里面充满条件控制结构；另一类是教材，因为包含详细的数学推理过程和逻辑链。
这条线索对做数据选型的人有直接的操作意义：判断一份语料值不值得买，不能只看它“干净不干净”，要看它能不能对上当前这一代模型的能力短板。两年前被奉为圭臬的对话语料，今天在预训练配比里的权重可能已经被压到很低；而当年没人愿意花钱买的教材扫描件，现在成了抢手货。
再往行业模型走，类型就更难穷举了。文档举了两个例子：经人类标注的、由视觉相似性图片构成的匹配对数据库，可以用于广告场景的训练，通过更好预测用户需求来优化素材点击率；收集人类驾驶员对稀有事件的应对数据，可以训练自动驾驶模型在复杂路况、极端天气、异常行为下的处理能力。这两个例子的共同点是——数据的“高质量”完全由下游任务定义，脱离任务谈质量没有意义。
3.2 形态不确定：长上下文和数据增强改写了“可用”的边界
第二重不确定性来自语料形态的演化，同一类语料会随着技术能力提升而“变形”。文档给了两个方向。一个是数据增强与合成技术让原本不能用的数据变得可用：对于模型难以直接使用的原始数据，通过加工、改造和泛化，形成可训练的知识类数据；在自动驾驶等领域，通过仿真生成更多样化、不同视角的物理世界，弥补真实世界对稀有事件观测不足的问题。
另一个方向更值得注意：随着模型长上下文建模能力增强，对代码和教材的需求发生了质变。训练用的代码数据从执行单一任务升级到仓库级，让模型的推理能力从掌握单任务模块进化到学习整体架构；训练用的教材从中小学级别拓展到大学级别，增强复杂场景下的推理能力。
这意味着什么？意味着“数据资产”是有保质期的。同一个代码仓库，在模型上下文只有几千 token 的时候，只能被切成碎片喂进去，价值有限；上下文扩展到能吞下整个仓库，它的价值立刻翻倍。手里囤着大量结构化长文档、完整代码库、成套教材的机构，实际上是在等一个技术条件成熟的时刻变现。反过来说，按当前模型能力去评估一份语料“没用了”然后处理掉，是一笔很容易做错的买卖。
3.3 配比与顺序：数据混合、数据课程，以及 1000 条微调数据的启示
第三重不确定性来自不同类型数据之间的有效搭配。文档把这个环节拆成两个动作：数据混合，即调整不同来源数据的配比；数据课程，即安排不同来源数据进入训练的顺序。
配比这件事没有公式。文档提到一个案例：有研究者从技术问答社区和内容社区里精选高赞语料，配合手工整理的问答对，总共凑出约 1000 条高质量微调数据，以“少而精”的方式在模型对齐能力上取得了不错的效果。1000 条这个量级，放在预训练语境里几乎可以忽略，但在对齐阶段却能撬动明显变化——这正是“齐”和“广”两种标准的差异所在。
数据课程则更像一门手艺。文档给出的经验是：按照技能集合的顺序组织预训练语料，从基础技能到目标技能，比直接从只专注目标技能的语料库里学习更有效；从通用或简单的例子开始，逐步引入更具专业化或复杂度的数据。这个道理跟人学数学一样，先算术再代数再微积分，跳过前面直接啃微积分，大概率翻车。
为了把配比和顺序落到可执行的层面，很多团队会把它写成配置文件，让数据调度变成可复现的实验而不是口头约定：
# 语料配比与课程顺序的示意配置：结构参考，数值需按任务实验确定 corpus_plan = { "stage_pretrain": { # 预训练：求"广"，覆盖世界知识 "web_text": 0.55, # 通用网页，量大但信息密度低 "books": 0.15, # 长文本，强化长距离依赖 "papers": 0.10, # 科研论文，专业表达与论证结构 "code": 0.12, # 代码，含大量条件控制，利于推理 "dialog_news": 0.08, # 对话与新闻，补时效与口语表达 }, "stage_sft": { # 监督微调：求"齐"，重质不重量 "human_qa": 0.70, # 人工设计的问答对 "synthetic": 0.30, # 合成指令，需过滤与去重 }, "curriculum": [ # 数据课程：从通用到专精 "general_corpus", "domain_corpus", "long_context_corpus", ], "guards": { "dedup_threshold": 0.85, # 近似去重阈值，超过视为重复样本 "min_doc_tokens": 200, # 过短文档直接丢弃，避免噪声 "pii_filter": True, # 个人身份信息过滤开关 } }这段配置里的几个参数值得说明。dedup_threshold控制近似去重的严厉程度，调低会砍掉更多样本、留下更干净但更小的集合，调高则保留多样性但也保留重复；重复语料会让模型对特定示例产生偏见，降低生成结果的多样性，这是文档明确点出的能力损害。min_doc_tokens是噪声闸门，过短的文本往往信息密度极低。curriculum的顺序决定了模型先学什么后学什么，把它写进配置而不是散落在脚本里，是为了让“换顺序”变成一次可对比的实验，而不是一次凭感觉的改动。
需要提醒的是，上面的数值只是结构示意，不是文档给出的配比。真实的配比要靠实验跑出来，而且会随模型规模、任务目标、语料质量动态变化。把别人的配比直接抄过来，是这类工作里最常见的踩坑方式。
3.4 评估的三条路径，与一次 400TB 对 305GB 的对比
对同类语料的质量评估，文档归纳为三个维度：质量、规模、多样性。质量维度上有三条评估路径。第一条是看来源，新闻、科研论文、开源代码项目的内容经过专业标准筛选，百科类内容经过专注编辑者的筛选，对话内容通过用户积极互动（比如点赞数）间接筛选，图库类平台则有专业设计师对光照、构图、艺术性、美观性做的标注。第二条是对无法从来源判断的语料，用评估模型打分：先对少量样本做人工评价，得到可读性、帮助性、安全性等指标，再用这些样本训练评估模型，把人工标准转成机器可识别的特征，然后给全量网页打分。第三条是前两条都失效的情况，典型是领域模型的专业语料，缺少统一判断标准，只能在训练过程中反复检验。
规模维度上，文档给了一个特别有说服力的对比。某公共网页抓取数据集约 400TB，包含数十亿网页，内容广泛但未经清洗；对它做噪声过滤、重复内容删除之后得到的清洗子集约 305GB。评估发现，基于清洗子集训练的模型性能反而优于基于原始全集训练的模型。
| 对比项 | 原始抓取集 | 清洗后子集 |
|---|---|---|
| 体量 | 约 400TB | 约 305GB |
| 处理方式 | 直接抓取，未清洗 | 过滤噪声、删除重复 |
| 内容特征 | 广泛但杂乱 | 规模小、信息密度高 |
| 训练表现 | 基准 | 更优 |
这个对比把“规模不是越大越好”这句话从口号变成了证据。它真正想说的是：高信息密度的语料规模越大越好，而不是语料规模越大越好。两者差了一个定语，采购决策却完全相反。
多样性维度上，文档提了两个容易被跳过但很实际的问题。一是公平性，网络采集的信息对弱势群体存在不平衡，可能加剧既有偏见，需要在审查和筛选中保证分布的广度与均衡。二是安全能力建设，真实世界里的潜在隐患往往是偶然事件，与其把“不良信息”一概删除，不如给这些样本打安全标签，反而有助于提升模型对安全风险的识别能力。这条建议对做数据清洗的团队是直接的纠偏——一刀切删干净看起来最安全，实际上把模型训练成了没见过世面的样子。
最后，文档给了一个很克制的结论：高质量不适合被前置的客观标准定义，它更多是一种主观判断，标准取决于模型的应用目的，会“因时而动”“因人而异”“因效而定”。所谓高质量标准，至多是对同类型数据在质量维度评估提供一种参考。
提示：如果你的团队正在做数据质量标准的制定，这段话值得反复读。标准能解决的是同类型数据的横向比较，解决不了“这类数据该不该进训练集”的问题。把标准当采购门槛可以，当能力保证不行。
4. 合成数据的两副面孔：对齐阶段的加速器，预训练阶段的新物种
合成数据这个词被讲烂了，但多数讨论停留在“模型生成数据再训练模型”这一层，既没说清什么时候非用不可，也没说清它在训练流程里的位置。文档在这一块的拆解相对扎实，结论也分层：现阶段合成数据在预训练里占比不高但潜力大，主要战场则在提升对齐阶段的效率。
4.1 三种非用不可的场景：难观测、成本高、涉隐私
文档把使用合成数据的本质原因归结为一句话：真实世界中获取数据遇到困难。困难分三种。
第一种是真实世界难以观测。罕见病、极端天气、复杂路况、异常行为的人和车辆，这些“边缘情况”在真实数据里出现频率极低，靠自然采集可能几年都凑不齐足够样本。合成数据可以设计出比真实数据集更广泛的情况，对 Corner Case 做定向模拟，提升训练集的全面性和多样性。
第二种是获取成本高。对齐训练需要人类大量高质量反馈，标注成本高、周期长。用合成数据可以把对齐流程自动化，几乎不需要人工标注，大幅节省成本。
第三种是涉及个人信息甚至敏感信息，医疗健康和金融领域最典型。合成数据可以用差分隐私对个体信息“加噪声”，模拟真实数据集的分布而不模拟其中的真实个人信息，实现去标识化。这条对合规团队的意义很直接——需要数据统计特征但拿不到原始数据的场景，合成是一条可行路径。
三种场景对应三种采购逻辑：为覆盖长尾而买、为替代人工标注而买、为绕开隐私约束而买。混在一起谈“要不要上合成数据”，讨论不出结果。
4.2 两条生成路线，三类合成数据
按是否基于实际数据集生成，文档把合成数据的方法分成两大类。
第一类基于真实数据构建。先建立模型捕获真实数据的分布特性和结构特征，刻画其中的多变量关系，再从模型里抽样生成。如果模型能很好地代表真实数据，合成数据就会具有相似的统计特性。文档用语言模型本身做了类比：它研究了人类写的数十亿例文本，分析词语之间的关系，构建模型理解它们如何组合，生成时每个词的选择都取决于前一个词出现的统计概率。
第二类不来源于真实数据，而是通过现有模型或人类专业背景知识创建。现有模型可以是某个过程的统计模型，也可以是模拟模型；模拟可以通过游戏引擎等方法构建，比如某文生视频模型就用到了由商业游戏引擎合成的视频数据作为训练集，用来提高生成质量。
按服务的 AI 类型，合成数据又可以分为两类：服务生成式 AI 的媒体合成数据（视频、图像、声音）和文本合成数据；服务判别式 AI（分类或回归）的表格合成数据，类似真实记录或表格的结构化数据。
| 分类维度 | 类别 | 典型形态 | 主要用途 |
|---|---|---|---|
| 生成依据 | 基于真实数据建模采样 | 分布拟合后的样本 | 保持统计特性、扩充规模 |
| 生成依据 | 不依赖真实数据 | 模拟器、规则、专业知识 | 覆盖长尾、构造极端场景 |
| 服务对象 | 生成式 AI | 文本、图像、视频、音频 | 预训练、指令微调 |
| 服务对象 | 判别式 AI | 表格数据 | 分类、回归任务增强 |
这张表的价值在于提醒一件事：说“我们用了合成数据”几乎没有信息量，得说清楚是基于什么生成的、服务于哪类模型。前者决定保真度上限，后者决定评估方式。
4.3 领域知识的三段式转化：从原始数据到可泛化的语料
文档把合成数据在预训练里的作用称为“新物种”，给出两个方向。一个是多模态数据生成：模拟器生成的多模态场景数据广泛应用于具身智能、自动驾驶、科学计算等场景；通过有效“过采样”罕见事件或灾难性事件，确保模型对更广泛的输入保持鲁棒性。另一个方向更值得细看——高价值领域知识的生成。
核心逻辑是：合成数据能通过对现有数据的深加工，把之前不能被用于训练的数据转化成可用。工业制造是个好例子，生产、制造等工艺流程的原始数据，结合行业知识图谱，可以转化为可供模型学习的工业语料。这个过程分三步：
第一步，把原始数据（Data）转成信息（Information），将非自然语言描述的内容，比如工艺生产中的操作行为或时序数据，转化为模型可读的结构化信息，比如操作记录。
第二步，把信息提炼为知识（Knowledge）。仅有操作记录并不能直接提供有效知识，但把多条结构化信息与行业知识图谱、专家经验结合，可以产出有价值的行业知识，比如在什么温度下应该怎么操作、好处是什么。
第三步，把知识泛化。利用模型的推理能力，把相对单一的知识做多样性拓展，积累更丰富的行业语料。
# 领域知识三段式转化的流程示意，非可直接运行的代码 def data_to_information(raw_record, schema): """第一步：原始时序/操作数据 -> 结构化信息""" # raw_record 可能是传感器读数、操作日志、时序序列 return normalize(raw_record, schema) # 对齐字段、统一单位、补时间戳 def information_to_knowledge(info_batch, kg, expert_rules): """第二步：结构化信息 + 知识图谱 + 专家经验 -> 行业知识""" # kg 提供实体关系，expert_rules 提供阈值与因果约束 return induce_rules(info_batch, kg, expert_rules) def knowledge_to_corpus(knowledge, generator): """第三步：知识泛化 -> 可训练的行业语料""" # 用生成模型把单一知识点扩展成多场景、多表述的语料 return generator.expand(knowledge, diversity=0.7, max_variants=20)三个函数的边界很关键。data_to_information只做规整，不做解释，把非自然语言的内容整理成模型能读的结构；information_to_knowledge才是真正的增值环节，它依赖知识图谱和专家规则，没有这两样，产出的只是流水账；knowledge_to_corpus负责扩展，diversity控制表述的分散程度，max_variants防止单个知识点被过度复制导致重复——重复语料对模型能力的损害，前文已经说过。
文档对这个方向的判断是“精”：语料质量要求高，且不可或缺。原因是模型只有在预训练阶段学过领域知识，后期用行业语料做微调时才能激发出更好效果。这句话对做行业大模型的团队是明确的路线提示——指望在微调阶段靠几万条行业问答补上预训练的缺口，效果有限。
4.4 对齐成本降几个数量级意味着什么
对齐数据的问题有三个：获取成本高、人类评估的准确性和一致性难保证、模型倾向回避敏感和有争议的问题从而降低整体效用。合成数据在这三处都能插上手。
文档引用了一个判断：掌握合成数据技术后，对齐成本可能降低好几个数量级，或者用同样的投入产生大几个数量级的数据，竞争格局会随之变化。这句话的分量在于“竞争格局”——如果对齐数据的获取从人力密集变成算力密集，那么拥有模型能力的一方会同时获得数据优势，没有模型的一方在成本结构上会被拉开差距。
具体路径有几条。一条是从 AI 反馈中做强化学习：用较大规模模型产出合成数据，生成指令及输入输出样本，过滤掉无效或重复信息，自动化微调出性能较好的小模型，全过程几乎不需要人类标注。文档举的例子是某海外高校实验室发布的 70 亿参数对话模型，用这类自我指导方法，通过调用外部 API 自动生成指令数据做微调。
另一条是自我对局：在满足一定条件时，让第 t+1 代模型尝试区分第 t 代模型的输出与真人输出，用合成数据做自我对抗微调，效果比传统的人类反馈强化学习更好。还有一条是让 AI 系统在遵循预先设定原则的前提下，用模型自身生成的反馈和修正意见做自我改进，得到一个既能生成无害内容、又不一味回避问题的模型——这正好对着前面提到的“过度拒答”问题。
文档还提到一种混合方案：整合人类和 AI 元素提供监督。有研究表明，在 AI 协助人类评估时，模型生成的批评意见有助于人类发现可能被忽略的缺陷，提高评估准确性。这条对还在用纯人工标注做对齐的团队是个折中选项，不用一步跳到全自动，先让模型当标注员的“第二双眼睛”。
4.5 自我训练的循环风险，与“在发展中治理”
合成数据不是没有代价。文档把风险摆得很清楚：生成过程可能存在偏差或噪声，导致质量和真实性无法完全模拟客观世界；更尖锐的担忧是“模型自己产生数据做自我训练”的循环，初始偏差可能被不断放大，最终让模型失控。
这个担忧不是杞人忧天，但也不是无解。文档的落点是“在发展中治理”——既有对合成数据价值的肯定，也有对治理机制的留白。从行业角度看，真正可操作的防线大概有三条：一是保留真实数据的锚点，不让合成数据完全替代真实分布；二是对合成数据做来源标记和配比控制，让每一批数据可追溯；三是评估环节不能只用模型自评，要保留独立的人类抽检。
注意：合成数据的保真度评估和模型能力评估容易混为一谈。前者看分布是否贴近真实，后者看下游任务表现。用后者代替前者，偏差会在多轮迭代后累积，且很难定位。
5. 五个容易踩的误判：读这份白皮书时最该警惕的地方
这份文档里有几处论述，最容易被断章取义。摘出一句发到群里，得到的反应可能和原意完全相反。下面五条是从业者最常踩的坑。
5.1 误判一：中文语料占比低，所以中文模型注定落后
误判点：看到全球网站里英文占 59.8%、中文仅占 1.3%，就得出“中文语料短缺是制约国内大模型发展的关键因素”。
为什么错：文档明确否定了这个推论。理由有两条。其一，世界知识的积累有很多属于客观事实，用英文还是中文表达，原理是一致的，在机器翻译质量有保障的前提下可以弥补这部分缺口。其二，训练技术上的新方法也能补，比如合理安排不同语言类型的训练顺序，让模型学到供给较少语言的丰富特征。
怎么看：真正短缺的不是“中文语料总量”，而是“中式价值观类语料”。模型是概率分布模型，数据来源分布会让模型具备相似的人类意志，训练中加入更多反映中文使用者文化背景和价值取向的语料，才能保持文化的多样性。这类语料没法靠机器翻译补——翻译质量再好，引入的仍是源语言的偏见。文档点了几个具体方向：文言文、古汉语、电子书籍等反映优秀传统文化的内容，以及主流媒体发布的能反映本土价值观的内容。同时也指出现实短板：从积累机制、数字化（古籍数字化率不到 30%），到开放共享与开发利用，再到训练过程中机器算法与编码系统的建设，都还需要持续投入。
5.2 误判二：语料规模越大越好
误判点：把“伸缩法则”理解成“数据越多模型越强”，采购时按 TB 论价，清洗环节能省则省。
为什么错：文档的表述是“高信息密度的语料规模越大越好”，中间那个定语不能丢。400TB 原始抓取集与 305GB 清洗子集的对比已经说明问题：清洗后的子集训练效果更优。另一面，低质量数据的破坏性也被点明——使用错误数据训练会让模型记忆有偏差信息、发生事实性错误；使用重复语料会让模型对特定示例产生偏见，降低生成多样性，造成能力显著下降。
怎么看：把评估口径从“拿到多少 T”改成“有效 token 多少、去重后保留率多少、单位 token 的信息密度如何”。规模仍然是约束条件，但它是分子而不是分母。
5.3 误判三：高质量数据可以先定标准再采购
误判点：认为只要拉一个专家委员会，把高质量数据的标准定出来，后续按标准采购、按标准验收就能解决问题。
为什么错：文档用三重不确定性把这个思路堵死了。语料类型由模型能力需求决定，需求在漂移；语料形态随技术能力演化，长上下文一扩展，同一份数据的价值就变了；不同来源之间的配比和顺序，更是没有通用解。结论很直白：高质量更多是一种主观判断，标准取决于模型的应用目的，所谓高质量标准至多是对同类型数据在质量维度评估提供一种参考，对模型训练的价值有限。
怎么看：标准可以做，但定位要摆正——它是同类型数据横向比较的工具，不是跨类型选型的依据，更不是能力保证书。真正该建的是“评估能力”：能针对当前任务快速搭一套小规模评测，验证某类数据加进去到底有没有用。
5.4 误判四：合成数据就是模型自己喂自己
误判点：一听合成数据就联想到“模型自我训练导致崩溃”，直接排除在选项之外。
为什么错：这个联想只覆盖了合成数据的一小部分。文档列的生成方法里，有基于真实数据建模采样的，有靠模拟器和游戏引擎生成的，有结合行业知识图谱和专家经验构造的，这些都不是“模型自产自销”。在用途上，合成数据现阶段主要提升对齐阶段的获取效率，以及在多模态、领域知识等真实数据难以覆盖的地方补位。风险确实存在，文档也承认自我训练的循环可能导致初始偏差被放大，但结论是“在发展中治理”，不是“因噎废食”。
怎么看：判断一批合成数据能不能用，看三件事——生成依据是什么、是否保留了真实数据锚点、有没有独立的评估环节。三样都有，风险可控；三样都缺，才是真的危险。
5.5 误判五：合规等于把敏感字段删干净
误判点：数据治理就是做个人信息脱敏、把敏感内容删掉，删得越干净越合规。
为什么错：文档在多样性部分给了一个反直觉的建议：对“不良信息”一概删除，不如给这些样本打安全标签，反而有助于提升模型对安全风险的识别能力。真实世界里的潜在隐患出现往往是偶然事件，全删掉等于让模型从没见过这类输入，防护能力无从建立。另一处相关论述是训练阶段不依赖个人信息，过量的个人数据反而会负面影响模型能力、增加运算负担——这意味着合规的重点不是“删了多少”，而是“进来的东西对不对路”。
怎么看：把治理拆成两层。一层是入口层，明确哪些类型的数据根本不该进训练集，比如训练阶段不需要的个人信息；另一层是标注层，对边界样本做标签化处理而不是物理删除，让模型学会识别而不是假装不存在。同时保留用户对交互历史的控制与删除能力，这是推理侧的事，和训练侧的数据选择要分开管理。
6. 生态与治理的分岔口：解法正从“找数据”转向“造数据、通数据”
把七部分内容串起来看，这份文档真正想推的判断只有一个：高质量训练数据的供给问题，靠“再找一批数据”解决不了，得靠三件事同时推进——技术上用合成数据拓展可用边界，机制上让行业数据流动起来，治理上给技术发展留出空间。
6.1 两种生态路径的差别不在投入，在流通机制
文档对海外与国内的数据生态做了对照。海外一侧是政府“汇聚融合”加上社会力量“探索应用”的组合：公共侧把分散的数据集整合成有公共属性的资源，社会侧由各类机构在具体场景里试错。国内一侧的现状被点得更直接——公共数据开放不足，社会力量的探索呈碎片化。
| 维度 | 海外路径 | 国内现状 |
|---|---|---|
| 公共数据 | 汇聚融合，形成公共或准公共数据集 | 开放程度不足，可获取性弱 |
| 社会力量 | 多主体在场景中分散探索、快速试错 | 探索碎片化，重复建设多 |
| 解决思路 | 建公共数据集、鼓励行业共享、放宽训练数据权属保护 | 政府与社会力量协同，构建共享共创生态 |
差别不在投入多少，而在流通机制。数据不流动，合成数据做得再好也只是在存量里打转；流动起来，合成数据才有真实分布的锚点。文档给出的方向是构建共享、共创、共赢的合作生态，以更务实、多元、开放的方式解决供给不足，同时为技术发展预留空间，构建更顺应模型发展的治理体系。这段话听起来像公文，但落到执行上是有具体含义的：公共属性的高质量数据集成规模建设、行业数据的共享通道、训练数据权属规则的适度放宽，这三件事任何一件推不动，供给瓶颈都还在。
6.2 接下来值得盯的三个观察点
第一个是高信息密度语料的定价方式会不会变。当评估口径从 TB 转向有效 token 和信息密度，按量计价的合同结构必然要改，这会连带影响数据供应商的商业模式。
第二个是合成数据在预训练配比里的占比会不会公开化。现在的表述是“占比不高但潜力巨大”，一旦有团队把合成数据在预训练中的比例、过滤策略、评估方法讲清楚，行业就能从“听说有用”进入“知道怎么用”。
第三个是领域知识的转化链条会不会标准化。数据到信息、信息到知识、知识到泛化的三段式，目前还是各家自己摸索，一旦有相对通用的流程和评估口径，行业模型的冷启动成本会显著下降。
我自己的习惯是，每拿到一份这类文档，不先去记结论，而是先找它推翻了我原来的哪个判断。这次被推翻的是“数据越多越好”和“高质量可以前置定义”这两条——前者让我重新看了手上的采购清单，后者让我把团队的标准文档从“准入门槛”改成了“横向比较参考”。从那以后，我每次评估一份语料，都强制走一遍“它对应哪个训练阶段、补的是哪块能力短板、有没有独立评测”这三问，问完再决定要不要。希望帮到你。
本文还有配套的精品资源，点击获取
