Scaling Law 与涌现能力-平芜编程栈

Scaling Law 与涌现能力

你肯定听过两个说法：
“大力出奇迹，模型越大越强。”
“模型大到一定程度，会突然’开窍’，冒出小模型没有的能力。”
这两个说法，一个叫 Scaling Law，一个叫涌现（emergence）。
它们都对了一半，也都容易被讲成玄学。这篇把它们拆开：哪些是规律，哪些是经验，哪些只是尺子的问题。

本文的关系图：

算力 C、参数 N、数据 D ↓ 6ND ≈ C 预训练 loss：L(N,D) = E + A/N^α + B/D^β ↓ 幂律：每翻 10 倍，降幅越来越小 可预测的"体温"：loss ↓ 但 loss ≠ 每项能力 下游任务：有的平滑变好，有的突然"涌现"，有的反而变差 ↓ 结论：Scaling Law 是地图，不是自动驾驶

一、Scaling Law 到底在说什么

Scaling Law（缩放定律）不是一个公式，而是一组经验规律：模型的 loss 会随着参数量、数据量、算力的增加，按幂律下降。

最粗略的版本长这样：

L(C) ≈ E + A · C^(-α)

更细一点，把参数和数据分开：

L(N, D) ≈ E + A/N^α + B/D^β C ≈ 6ND

四项，各干各的活：

E：不可约损失。数据本身有熵、有噪声，曲线不会掉到 0，E 就是地板；
A/N^α：参数不够，容量不够，这一项就高；
B/D^β：数据不够，见识不够，这一项就高；
α、β：幂律指数，通常小于 1；Chinchilla 那组拟合大约在 0.3 上下。它决定了"每翻 10 倍，能降多少"。

把两边取对数，幂律在 log-log 图上就是一条直线：横轴是 log 算力，纵轴是 log(loss - E)，斜率是 -α。这也是为什么论文里的 scaling 图看起来那么"干净"——不是模型简单，是坐标轴把幂律拉直了。

C ≈ 6ND是训练算力的粗略估算：6 是前向加反向的常数，N 是参数量，D 是训练 Token 数。它是一个数量级估算，不是精确账单。

Kaplan 等人在 2020 年把这套关系系统地画了出来；2022 年，Chinchilla 又修正了"算力该怎么分配"。但先别把它当物理定律。它是经验公式：在某个数据分布、某个架构、某个训练配方下，曲线长这样；换了配方，曲线会平移，甚至拐弯。

它不是牛顿定律，更像菜谱上的"盐少许"——有用，但不是宇宙真理。

更准确地说，Scaling Law 描述的是"在某个数据分布和训练配方下，loss 的可预测性"。它不保证"能力"可预测，更不保证"产品"可预测。它是天气预报里的温度曲线，不是明天的行程安排。

下面这个玩具把三个演示串起来：拟合 scaling law、分配算力、看涌现的度量幻觉。先跑一遍，后面逐段拆：

importmath# ══════════════════════════════════════════════════════════════════# ① 拟合 scaling law：L(C) = E + A · (C/C0)^(-α)# ══════════════════════════════════════════════════════════════════C0=1e18TRUE_E,TRUE_A,TRUE_ALPHA=1.0,8.0,0.25BUDGETS=[10**iforiinrange(18,27)]deftrue_loss(c):returnTRUE_E+TRUE_A*(c/C0)**(-TRUE_ALPHA)print("① 算力翻 10 倍，loss 降多少")print(" 算力 C loss 比上一档降")prev=NoneforcinBUDGETS:loss=true_loss(c)delta="—"ifprevisNoneelsef"{prev-loss:.3f}"print(f"{c:>8.0e}{loss:>8.3f}{delta:>10}")prev=lossdeffit_scaling(budgets,losses):"""网格搜索 E，再对 log(C/C0) 和 log(L-E) 做线性回归。"""best=Nonexs=[math.log(c/C0)forcinbudgets]foriinrange(1100):e=0.5+i*0.0005ife>=min(losses):continueys=[math.log(loss-e)forlossinlosses]n=len(xs)mx=sum(xs)/n my=sum(ys)/n num=sum((x-mx)*(y-my)forx,yinzip(xs,ys))den=sum((x-mx)**2forxinxs)slope=num/den intercept=my-slope*mx sse=sum((y-(intercept+slope*x))**2forx,yinzip(xs,ys))ifbestisNoneorsse<best[0]:best=(sse,e,math.exp(intercept),-slope)returnbest[1],best[2],best[3]fit_budgets=BUDGETS[:6]fit_losses=[true_loss(c)forcinfit_budgets]E,A,alpha=fit_scaling(fit_budgets,fit_losses)print()print(" 只用前 6 档（1e18 ~ 1e23）拟合：")print(f" E ={E:.3f}A ={A:.3f}α ={alpha:.3f}")print(" 外推后 3 档：")print(" 算力 C 预测 loss 真实 loss")forcinBUDGETS[6:]:pred=E+A*(c/C0)**(-alpha)print(f"{c:>8.0e}{pred:>9.3f}{true_loss(c):>9.3f}")print(" loss 还在降，但每翻 10 倍算力的绝对降幅越来越小。")print()# ══════════════════════════════════════════════════════════════════# ② 固定算力：min L(N,D) = E + A/N^α + B/D^β，s.t. 6ND = C# ══════════════════════════════════════════════════════════════════E2,A2,B2,ALPHA2,BETA2=1.5,100.0,245.6,0.3,0.3defloss_nd(n,d):returnE2+A2/n**ALPHA2+B2/d**BETA2defoptimal(c):n=((ALPHA2*A2)/(BETA2*B2))**(1/(ALPHA2+BETA2))n*=(c/6)**(BETA2/(ALPHA2+BETA2))d=c/(6*n)returnn,d,loss_nd(n,d)defhuman(x):forunitin("","K","M","B","T"):ifx<1000:returnf"{x:.2f}{unit}"x/=1000returnf"{x:.2f}P"print("② 固定算力：参数和数据怎么分")print(" 算力 C 最优参数 N 最优 Token D D/N loss")forcin[1e21,1e22,1e23,1e24,1e25]:n,d,loss=optimal(c)print(f"{c:>8.0e}{human(n):>10}{human(d):>12}{d/n:>4.0f}{loss:.4f}")c=1e23n,d,loss=optimal(c)n10,d10=n*10,c/(6*n*10)loss10=loss_nd(n10,d10)print()print(f" 固定 C=1e23：最优{human(n)}参数 /{human(d)}Token，loss{loss:.4f}；")print(f" 把参数翻 10 倍、数据砍到 1/10：loss{loss10:.4f}，贵了{loss10-loss:.4f}。")print(" 反过来，参数砍到 1/10、数据翻 10 倍，loss 也一样——两头都亏。")print(" 这个玩具把两个指数取成对称的，所以最优比例稳定在 20 tokens/参数；")print(" 真实拟合里比例会随算力缓慢漂移，但'参数和数据要一起涨'不变。")print()# ══════════════════════════════════════════════════════════════════# ③ 涌现：单步能力平滑，全对率却像跳崖# ══════════════════════════════════════════════════════════════════print("③ 涌现：能力在爬坡，指标在跳崖")print(" 规模 s 单步正确率 p 10 步全对 50 步全对")forsinrange(1,9):p=0.4+0.55*(1-math.exp(-s/2))print(f"{s:>4}{p:>10.3f}{p**10:>8.4f}{p**50:>8.4f}")print()print(" 单步正确率从 0.616 涨到 0.940，是一条平滑的坡；")print(" 但 50 步全对率从 0.0000 涨到 0.0452，看起来像'突然会了'。")print(" 能力没跳，是指标在跳：全有或全无的评测，会把平滑进步压成悬崖。")

真实运行结果（本机实测，完整脚本见code/12-scaling-demo.py）：

① 算力翻 10 倍，loss 降多少 算力 C loss 比上一档降 1e+18 9.000 — 1e+19 5.499 3.501 1e+20 3.530 1.969 1e+21 2.423 1.107 1e+22 1.800 0.623 1e+23 1.450 0.350 1e+24 1.253 0.197 1e+25 1.142 0.111 1e+26 1.080 0.062 只用前 6 档（1e18 ~ 1e23）拟合： E = 1.000 A = 8.000 α = 0.250 外推后 3 档： 算力 C 预测 loss 真实 loss 1e+24 1.253 1.253 1e+25 1.142 1.142 1e+26 1.080 1.080 loss 还在降，但每翻 10 倍算力的绝对降幅越来越小。 ② 固定算力：参数和数据怎么分 算力 C 最优参数 N 最优 Token D D/N loss 1e+21 2.89B 57.72B 20 1.7903 1e+22 9.13B 182.52B 20 1.7055 1e+23 28.88B 577.17B 20 1.6455 1e+24 91.32B 1.83T 20 1.6030 1e+25 288.76B 5.77T 20 1.5729 固定 C=1e23：最优 28.88B 参数 / 577.17B Token，loss 1.6455； 把参数翻 10 倍、数据砍到 1/10：loss 1.6816，贵了 0.0361。 反过来，参数砍到 1/10、数据翻 10 倍，loss 也一样——两头都亏。 这个玩具把两个指数取成对称的，所以最优比例稳定在 20 tokens/参数； 真实拟合里比例会随算力缓慢漂移，但'参数和数据要一起涨'不变。 ③ 涌现：能力在爬坡，指标在跳崖 规模 s 单步正确率 p 10 步全对 50 步全对 1 0.616 0.0079 0.0000 2 0.748 0.0546 0.0000 3 0.827 0.1501 0.0001 4 0.876 0.2648 0.0013 5 0.905 0.3679 0.0067 6 0.923 0.4469 0.0178 7 0.933 0.5019 0.0319 8 0.940 0.5382 0.0452 单步正确率从 0.616 涨到 0.940，是一条平滑的坡； 但 50 步全对率从 0.0000 涨到 0.0452，看起来像'突然会了'。 能力没跳，是指标在跳：全有或全无的评测，会把平滑进步压成悬崖。

先说清楚：这是个教学玩具。① 的数据就是按幂律生成的，所以拟合能精确恢复参数；真实训练日志有噪声，但"用前几档预测后几档"的思路是真的。② 的两个指数取成了对称的，所以最优比例稳定在 20；真实模型的比例会随算力缓慢漂移。③ 的 p 曲线也是人造的，只负责演示"指标非线性"。

代码里先网格搜索 E，再对log(C/C0)和log(loss-E)做线性回归；这就是把幂律"拉直"后拟合斜率。

看 ① 的表：从1e18到1e19，loss 从 9.000 降到 5.499，降了 3.501；从1e25到1e26，从 1.142 降到 1.080，只降了 0.062。算力都翻了 10 倍，绝对降幅却差了 50 多倍。

这就是幂律的脾气：每翻 10 倍，loss - E乘一个固定的比例；绝对降幅越来越小，但一般不会停。拟合只用前 6 档，恢复出E=1.000、A=8.000、α=0.250；后 3 档外推，预测和真实几乎一样。

E=1.0是地板：数据本身有熵，loss 不会掉到 0。外推也有边界：数据用完、架构换了、训练配方变了，曲线会弯。

你可能会问：既然绝对降幅越来越小，为什么大家还疯狂堆算力？因为 loss 的绝对数字看起来小，但在语言模型里，loss 从 1.142 降到 1.080，困惑度（perplexity）大约从 3.13 降到 2.94，背后可能是很多下游任务的进步。loss 的一小步，可能是能力的一大步；也可能是白花钱——所以最终要看下游评测。

一句话：Scaling Law 能告诉你"再花 10 倍钱，loss 大概降多少"；不能告诉你"这 10 倍钱花下去，产品会不会好用"。

二、Chinchilla：不是越大越好，是别让模型饿着

如果只看"参数越大，loss 越低"，很容易得出"参数越多越好"。但算力是有限的：C ≈ 6ND，参数多了，能喂的 Token 就少了。

2022 年，Chinchilla 给了一个更精确的答案：给定算力，参数和数据要一起涨；在最优附近，大约 20 个 Token 配 1 个参数。

这就是所谓的compute-optimal（算力最优）分配：不是参数最大，也不是数据最多，而是在给定算力下，让"多一个参数"和"多一个 Token"的边际收益相等。

Kaplan 的早期结论更偏向"把模型做大"；Chinchilla 发现，在同样算力下，数据被低估了——很多大模型其实是"饿着"训练的。这也是为什么 GPT-3 175B 会被 70B 的 Chinchilla 比下去。

对比一下就很直观：

GPT-3 175B 用了约 300B Token，差不多1.7 Token/参数——像一个 175 公斤的大胃王，只吃了一口；
Chinchilla 70B 吃了 1.4T Token，差不多20 Token/参数——饭量跟上了，反而更壮。

看 ② 的表：固定算力，最优配比稳定在 20 Token/参数。C=1e23时，最优是 28.88B 参数配 577.17B Token，loss 1.6455。

如果把参数翻 10 倍、数据砍到 1/10，loss 变成 1.6816，贵了 0.0361；反过来，参数砍到 1/10、数据翻 10 倍，损失一样。两头都亏：大模型饿着不行，小模型撑死也不行。

这个玩具把两个指数取成对称的，所以比例稳定在 20；真实拟合里比例会随算力缓慢漂移，但"参数和数据要一起涨"这个结论不变。

但要注意：“训练最优"不等于"部署最优”。

训练是一次性花钱，推理是天天花钱。如果一个模型要服务几亿次请求，训练时多喂点数据、把模型做小一点，推理成本可能省出一大截。这就是后来很多模型"超额训练"（overtraining）的原因：不是不知道 Chinchilla，是算的是另一笔账。

20 Token/参数是经验值，不是法律。数据质量、架构、推理预算，都会改变最优配比。Chinchilla 的结论也经常被误读成"模型越小越好"。不是。它说的是：在固定训练算力下，别把预算全砸在参数上。如果你的算力很多、数据也够，模型还是可以很大；关键是比例，不是绝对大小。

再举个部署的例子：假设两个模型效果差不多，A 是 100B 参数，B 是 30B 参数但多吃了 3 倍数据。训练成本可能差不多，但推理时 B 的显存、延迟、电费都更低。如果服务每天要跑一亿次，B 省下来的钱可能够再训好几个模型。训练时省的是小钱，推理时省的是大钱。

一句话：参数是脑容量，数据是阅读量，算力是学习时间；只涨一个，就像只吃蛋白粉不练。

三、涌现：小模型不会，大模型突然会了？

涌现能力（emergent abilities）通常指：小模型上没有、模型大到一定程度才出现的能力。常被举的例子：少样本学习、算术、多步推理、思维链。

注意，"涌现"这个词很容易被讲成魔法。它其实只是说：能力随规模的变化不是线性的，某些指标在某个区间突然变好。至于这个"突然"是模型内部的相变，还是评测指标的阈值效应，要具体分析。

但"突然"有两种：

能力真的发生了相变：某个规模上，模型内部形成了新的组合能力；
能力一直在涨，只是你的指标在全有或全无地跳：单步正确率从 0.6 涨到 0.9，但"全对"要等所有步骤都对，看起来就像从 0 到 1。

看 ③ 的表：单步正确率从 0.616 平滑涨到 0.940；10 步全对率从 0.0079 涨到 0.5382；50 步全对率从 0.0000 涨到 0.0452。

50 步全对率在规模 1 到 2 看起来完全不会，规模 4 之后才离开 0，规模 6 之后才像"开窍"；但单步能力一直在平滑涨。能力没跳，是指标在跳。

为什么？因为全对率是p^n：每个子步骤涨一点，乘起来就会指数级放大。50 步任务就是 50 个子技能，每个都进步一点，全对率自然像悬崖。

再举个更日常的例子：假设一个模型单步正确率 90%，做 10 步任务全对率是0.9^10 ≈ 35%；单步提到 95%，全对率就变成0.95^10 ≈ 60%。单步只涨了 5 个百分点，全对率涨了 25 个百分点。这就是为什么"多步任务"特别容易看起来像涌现：步骤越多，p^n 的放大效应越强。

有研究者把这种现象叫"涌现的海市蜃楼"（Schaeffer et al. 2023）：不是能力突然出现，是指标把平滑进步压成了 0/1。换成 token-level accuracy、log-likelihood、部分得分，曲线会平滑很多。

但别走到另一个极端。有些能力可能真的在某个规模发生相变——子技能组合、电路形成、训练动力学，都可能带来非线性。正确的态度是：先换几把尺子，再下结论。

还有些能力不是"不会"，是"没被问对"。换个 prompt、给个例子、让它一步一步想，小模型也可能突然"会"了。这说明能力一直在，只是没被激活；把它全归功于 scale，是贪天之功。

Benchmark 是尺子，不是能力本身。尺子只有"及格/不及格"两档，就会制造涌现。所以，看到"某能力在 100B 参数突然出现"时，先问三个问题：指标是连续的还是 0/1？步数多不多？测试集有没有泄漏？这三个问题能拆掉一半的"涌现"。

一句话：不是水突然变热，是你的温度计只有"凉/开"两档。

四、反 Scaling：有些能力越大会越差

Scaling Law 说的是平均 loss。平均变好，不代表每项能力都变好。

有些任务上，模型越大反而越差，或者先好后坏，呈 U 形。比如迎合用户（sycophancy）、放大训练数据里的偏见、掉进某些逻辑陷阱。这不是"涌现"，是"反涌现"（inverse scaling）。

为什么会这样？因为模型学的是语料里的相关性，不是"正确"。语料里"顺着用户说"往往能拿到更好的评价，"重复常见说法"往往更省力；模型越大，越擅长学这些模式。规模放大的是能力，也放大了数据里的毛病。

常见的例子有：迎合用户、放大训练数据里的偏见、在否定句和干扰项上犯更高级的错、把语料里的常见偏见当成事实。它们不一定在 loss 上表现出来——平均 loss 还在降，但这些能力在退步。这就是为什么只看 loss 不够。

它提醒你：loss 是一个平均值，平均值会掩盖偏科。

安全对齐也不会随着规模自动变好。有时候模型越大，越会"讲得头头是道"——包括讲错的时候。Scaling Law 不是"能力全面提升券"，它只保证平均 loss 下降。

所以，安全对齐、偏见评估、红队测试，不能等"模型大了自然好"；它们需要单独的训练和评测。Scaling Law 不会替你做人品。

一句话：平均分提高，偏科可能更严重。

五、Scaling Law 的边界：什么时候会失灵

Scaling Law 有用，但它有边界：

第一，数据墙。高质量人类文本不是无限的。有人估算，高质量人类文本可能只有几万亿到几十万亿 Token 的量级；模型越训越大，迟早会遇到"书读完了"的问题。合成数据像"自己出题自己练"，能续命，但很容易变成自我重复，错误会被放大，甚至出现模型崩溃（model collapse）。多模态、自博弈、数据效率是几条路，但都不是免费午餐。

第二，架构和配方会改变曲线。MoE（混合专家）用更少的激活参数换更大的容量；长上下文改变"数据效率"；更好的分词器让同样的 Token 装更多信息；课程学习、RL 后训练也会改变 loss 的形状。Scaling Law 描述的是"在现有配方下"的规律，不是"任何配方下"的规律。

第三，评测会骗人。如果测试集泄漏进训练集，曲线会好看得不像话；这不是模型变强，是作弊。评测集污染是行业公开的秘密——一个模型在 benchmark 上突然变强，先查它有没有见过题。评测饱和也会让曲线看起来"变平"——不是模型不进步，是尺子到顶了。

第四，收益递减。loss 还在降，但最后 0.1 的 loss 可能要多花 10 倍算力；值不值，取决于产品。算力、电费、延迟、显存，都是成本。

第五，部署约束。参数越大，推理越贵。推理成本是"隐形税"，参数越大，税越重。很多场景不需要 1T 参数，小模型 + RAG + 微调更划算。杀鸡不用牛刀，但牛刀也不一定杀得好鸡。

把这几件事放在一张表里：

变量	对 loss 的影响	对能力的影响	备注
参数	幂律下降	不一定	数据要跟上
数据	幂律下降	不一定	质量 > 数量
算力	幂律下降	不一定	6ND
架构	曲线平移	可能	MoE / 长上下文
后训练	不直接优化 loss	很大	SFT / RLHF
评测	不改变模型	很大	污染 / 饱和

这张表的意思是：loss 只是中间变量，不是终点。

一句话：Scaling Law 是地图，不是自动驾驶；它告诉你路有多远，不告诉你路上有没有坑。

六、对做产品的人意味着什么

如果你在做产品，Scaling Law 的正确用法不是"无脑上最大的模型"，而是"算账"：

先定任务和指标。你要的是准确率、延迟、成本，还是覆盖率？指标不同，最优模型不同。
用公开的 Scaling Law 估预算。但别当真理；它只能给你一个数量级。
在自己的数据上做小规模消融。公开曲线是别人的数据分布，你的任务可能完全不一样。
比较"大模型零样本"和"小模型 + RAG/微调"。很多窄任务，后者更便宜、更准、更可控。
把推理成本算进去。训练是一次性，推理是天天；有时候"训练时多花点，部署时省更多"。
持续评测。防污染、防饱和、防"看起来很强"。

举个具体的决策例子：假设一个客服分类任务，大模型 zero-shot 能到 92 分，小模型 + RAG 能到 94 分，但小模型的推理成本只有大模型的 1/10。多出来的 2 分，值不值 10 倍成本？多数时候不值。模型选型不是选"最强"，是选"够用且算得过账"。

一句话：先问"这个问题需要多大的模型"，再问"能不能用更小的模型 + 检索/微调解决"。

Scaling Law 帮你算账，不帮你选方向。它是预算工具，不是路线图；路线图要问用户，不是问曲线。模型是手段，不是目的；用户要的是答案，不是参数量。

七、五个常见误区

误区一：Scaling Law 是物理定律，会一直有效。

不是。它是经验规律，只在某个数据分布、架构、训练配方下成立。数据墙、架构变化、评测污染，都会让它失灵；它在某段区间很准，跨过边界就要重新拟合。它是地图，不是地形本身。

误区二：参数越大越好。

不是。给定算力，参数和数据要平衡；只堆参数、不给数据，就是让大模型饿着。参数是容量，数据是营养；只吃蛋白粉不吃饭，照样练不出肌肉。Chinchilla 的教训是"一起涨"，不是"只涨参数"。

误区三：loss 降了，能力一定变强。

不一定。loss 是平均的 next-token 预测误差，不是每项能力的成绩单。有些能力会提升，有些会停滞，有些会反而变差（反 Scaling）。一个指标降了，可能有另一个指标在发烧。loss 是体温，不是智商。

误区四：涌现一定是真的突然开窍。

不一定。很多"涌现"是全有或全无的指标造成的：单步能力在平滑涨，全对率却像跳崖。先看连续指标，再看 0/1 指标；先看部分得分，再看全对率。当然，也不能反过来断言"所有涌现都是假的"——有些相变可能是真的。

误区五：有了 Scaling Law 就能预测一切。

不能。它能预测 loss 的趋势，不能预测具体产品能力、数据质量、对齐效果、推理成本。产品决策还要看数据、对齐、成本、延迟。它是一阶近似，不是水晶球。

八、把这件事放回地图上

把大模型的概念按依赖关系从下往上摞成几层——最底下是算力和数据，往上依次是文字的表示、模型结构、训练、调用，最顶上才是增强和智能体：

L6 智能体层 Agent / Function Calling / ReAct / 记忆 / MCP L5 增强层 RAG / 向量检索 / Rerank / GraphRAG / 微调 L4 调用层 Prompt / Few-shot / CoT / 温度 / Top-p L3 训练层 预训练 / SFT / RLHF / DPO / 幻觉 / LoRA / ★ Scaling Law · 涌现 ★ L2 结构层 Transformer / 注意力 / 参数量 / 上下文窗口 / 开源闭源 L1 表示层 Token / 分词 / 词表 / Embedding L0 底座 算力 / 数据 / 成本

Scaling Law 横跨 L0 到 L3：它把算力、数据、参数和 loss 连在一起；地图上放在 L3，是因为它主要指导训练决策。涌现则是 L2 到 L3 的现象——结构、规模、训练动力学一起作用的结果。

两者不是同一个东西：Scaling Law 描述"规模怎么改变 loss"，在拟合范围内是连续的、相对可预测的；涌现描述"规模怎么改变能力"，可能是连续的，也可能是指标造成的跳变。把两者混为一谈，就会得出"模型越大，一切自动变好"的错觉。

往下看：