一句话说清:让 AI 模型自己“出题、写答案、编教材”来当别的模型的训练资料,而不是全靠从网上扒真实人类的文字。
1. 它到底在说什么
合成数据(Synthetic Data)指的是由程序或模型“造”出来的数据,而不是从真实世界里发生的事、测出来的数里直接采集的。放到大模型语境里,它的意思很直接:用已经训练好的模型去批量生成训练样本——可以是指令和回答、讲解和例题,也可以是数学题与代码,甚至是“哪个回答更好”的偏好判断。
打个比方:过去训练一个会聊天的模型,像请几千个外包把“用户问题—标准答案”一条条写下来,又贵又慢。合成数据相当于让一个已经很会写的老师,照着十几道样题,自己编出上万道同类题和答案。数据不是“真事”,但只要编得质量高、覆盖全,拿来练新学生一样有效。
2. 为什么现在这个词很热
这条路线真正被推到台前,靠的是一连串低价高产的实证研究。2022 年 12 月,华盛顿大学与艾伦人工智能研究院(AI2)提出 Self-Instruct(自指令)方法,只用约 175 条人类写的种子任务,就让 GPT-3 自己生成了上万条新指令-回答对,指令跟随能力较基线提升约 33 个百分点。2023 年 3 月,斯坦福 Alpaca 沿用同一套思路,用 text-davinci-003 生成约 5.2 万条样本、花费不到 600