神经语言模型的缩放定律

Scaling Laws for Neural Language Models · Jared Kaplan 等（OpenAI）· arXiv 2020 · Ilya 推荐书单 i25

论文名片

Ilya 为什么选它

在这篇论文之前，「把模型做大就会更好」是一条人人隐约相信、却没人说得出「好多少」的经验。多投一倍算力，回报是多少？把参数翻十倍，错误能降几成？没人能提前给出答案，于是每一次大规模投入都像赌注。

论文的核心贡献是把这份「玄学」变成可计算的规律：模型错误（损失，Loss）随参数量、数据量、训练算力的增加，按幂律（Power Law）平滑下降。规模与性能之间不再是谜，而是一条能画出来的曲线——训练之前，就可以照着曲线做预算规划。

这正是它入选书单的理由：它给「大力出奇迹」装上了定量的骨架，也直接催生了后来一轮又一轮更大规模模型的投入决策。i24「Deep Speech 2」里「变大变好」还是经验，到这里升级成了定律。

从生活说起

刷题提分人人都体验过：从 60 分刷到 80 分，可能一百道题就够了；从 80 分到 90 分，也许要三百道；从 90 分再往上，同样的功夫只换来一两分。收益在递减——但递减得很有规律，像是每次都按固定折扣「打折」。

如果这个折扣率足够稳定，事情就变得可算了：家长可以照着规律决定「再报几个班，性价比才说得过去」，学生可以决定「还剩两周，值得再刷多少题」。成绩从「碰运气」变成了「看地图」。

缩放定律干的就是这件事，只不过刷题的是模型，题海是海量文本，成绩是损失。它告诉所有准备下重注的人：规模换性能，换多少，可以提前算。

核心思想拆解

核心发现用一句话说：在很大的范围内，模型错误随规模平滑、可预测地下降。这里的「规模」指三个量：参数量（模型有多大）、数据量（喂了多少文本）、训练算力（花了多少计算）。三者任何一个增大，损失都按幂律下滑。

「幂律」不神秘。白话版：每把规模翻一倍，改进量按一个稳定的比例打折——方向确定、比例稳定，只是越往后每次的绝对收益越小。把这条曲线画在「双对数」坐标上，它近似一条直线；所谓双对数，就是把横竖两个方向的刻度都换成「翻了几倍」——倍数关系变成等距离，原本越来越平缓的曲线就被「拉直」了。

第二个要点是分配：三个量要成比例地一起加。只堆参数不堆数据，模型会「吃不饱」——同样预算下，参数多而数据少，损失降不到该到的地方；反过来，数据多参数少也是浪费。缩放定律不止告诉你「要大」，还告诉你「怎么个大地」。

动手算一算

做一个翻倍游戏（示意数字，非论文数据）。假设某种配置下「规模每翻一倍，损失打八折」。从损失 100 出发：翻倍一次，100×0.8 = 80；再翻倍，80×0.8 = 64；再翻，51.2；再翻，40.96。损失一直在降，方向从不含糊。

100 → 80 → 64 → 51.2 → 40.96　（每步 ×0.8；四次下降量分别为 20、16、12.8、10.24）

但绝对收益每步都在缩水：四次翻倍分别换来 20、16、12.8、10.24 的下降。比例稳定、绝对量递减——这就是幂律的全部秘密，也是「双对数坐标上是直线」的白话版：把「翻倍次数」当横轴，每翻一次都打同样的折，画出来自然是一条笔直的路。

再看分配。假设预算只够「参数翻 4 倍」或「数据翻 4 倍」，二选一怎么选？答案看现状：数据还喂得饱参数，就加参数；数据已经不够，先补数据。只堆参数不堆数据，模型「吃不饱」，损失降不到该到的地方——缩放定律的价值正在于此：它让「钱花在哪个量上」从拍脑袋变成查曲线。

它改变了什么

论文影响 最直接的是决策方式：训练之前先在小规模上量出曲线，再按定律外推，估算大模型需要多少参数、多少数据、多少算力、能达到什么损失。「先算后练」取代了「先练再说」，后来多轮更大规模模型的投入决策里都能看到这种规划地图的影子。

本站推断 它也重新排列了研究优先级：既然损失由规模决定的部分如此稳定，那么工程与数据基建——怎么喂得快、喂得饱——的重要性显著上升，这直接接上了 i26「GPipe」要解决的「装得下」问题。

系列内相关阅读：i24 Deep Speech 2（同一信念的工程实证版）、i26 GPipe（把「必须变大」变成「装得下」）、i27 机器超级智能（规模之外，还差一把衡量「通用」的尺子）。

术语小词典

原文与代码

• 论文原文（arXiv 摘要页）：arxiv.org/abs/2001.08361
• 本页只收录批次简报给出的外链；论文配套代码请以原文页面为准，本站不臆造仓库地址。
• 系列内相关页：i24 Deep Speech 2 · i26 GPipe · 系列导语