机器超级智能
Machine Super Intelligence · Shane Legg · 2008 年博士论文 · Ilya 推荐书单 i27(压轴)
Ilya 为什么选它
前面 26 篇都在回答「怎么把某个能力做得更好」:压缩、推理、视觉、语音、规模。压轴这一篇完全不同——它不造任何工具,而是问一个更根本的问题:「智能」到底是什么?你说某个系统聪明,这个「聪明」究竟指什么?
Shane Legg 在 2008 年的博士论文里指出一个尴尬的现实:大家天天在说某系统「聪明」,却几乎没有人给过严格定义。没有定义,就没有尺子;没有尺子,我们既无法判断今天的模型离「通用」有多远,也无法判断某次评测的进步究竟是「变聪明了」还是「刷题刷熟了」。
把这篇放在书单最后是一次刻意的收束:读完全部「怎么造」,最后回头审视「造出来的东西该如何量」。造尺子的工作看似务虚,实则是一切务实工作的前提。
从生活说起
学校要评「全能王」,第一种方案是只考数学——那评出来的其实是数学状元。第二种方案考五门固定课——可固定课表本身就偏了科:会背题目的孩子占便宜,换个题型就露馅。真正难的不是「多考几门」,而是「怎么才能考到所有可能的能力」。
更麻烦的是权重。奥数和煮饭哪个该占分?认路和下棋哪个更「基本」?平均分要算得服人,先得说清每门课占多大比重——「权重要合理」这五个字,分量比看起来重得多。
Legg 面对的正是这个放大了无数倍的难题:把「所有可能的任务」当考场,给每个任务配上合理的权重,再算一个平均分——这才是「通用智能」这把尺子该有的样子。尺子比成绩单更重要:尺子错了,再漂亮的成绩单也只是错误方向的胜利。
核心思想拆解
论文的出发点是一个不满:「聪明」「智能」这些词被用得太随便。Legg 的做法是回到最朴素也最彻底的定义:一个系统的通用智能,是它在「所有可能任务」上的平均表现——不是某几门课的高分,而是全科平均。
「所有可能任务」显然数不完,于是必须加权:常见、基本的任务权重大些,罕见、特化的任务权重小些,让平均分反映「在多大范围的任务上都能拿分」。通俗转述过来就是那句话:在所有可能任务上的平均表现,越通用的任务权重越合理。公式与推导本页一概略去,留下的是直觉:通用 = 不偏科 = 会举一反三——在没见过的任务类型上依然有像样的表现。
用这把尺子回头量,许多「智能」新闻就要重新打分:某系统在固定题库上超过人类,可能只是「单科状元」;平均分要提上来,必须把不偏科的能力铺到任务全域。论文也因此留下一个至今有效的开放问题:我们今天的种种评测,究竟是在量「通用智能」,还是在量「应试能力」?
动手算一算
做一个加权平均实验(示意数字)。把「所有可能任务」缩成三门:识字(很基本)、算术、围棋(很特化)。甲系统:识字 95、算术 85、围棋 5——基本科目极强,特化几乎为零;乙系统:三门各 60——门门平平但不偏科。
第一轮,普通平均:甲 (95+85+5)÷3 ≈ 61.7,乙 60——甲险胜。第二轮,基本科目加权(识字权重 5、算术 3、围棋 2):甲 (95×5+85×3+5×2)÷10 = 74,乙 (60×5+60×3+60×2)÷10 = 60——甲大胜。
基本加权:甲 (95×5 + 85×3 + 5×2) ÷ 10 = 74;乙 (60×5 + 60×3 + 60×2) ÷ 10 = 60
第三轮换个权重(识字 1、算术 1、围棋 8):甲 (95+85+40)÷10 = 22,乙 60——乙大胜。同一组分数,换一套权重,冠军换人。这个小实验解释了 Legg 的难题难在哪里:「所有可能任务」数不完只是第一层困难,「权重要合理」没有现成答案是第二层;两层都过关,「平均表现」才配得上「通用智能」这把尺子。
它改变了什么
原文影响 这篇论文最持久的影响,是把「通用智能」从修辞变成研究对象:此后关于智能评测、通用模型、乃至机器智能安全的大量讨论,都在「任务分布 + 平均表现」这个框架里展开。它给整个领域立了一杆可以认真争论的标尺。
它同时是提醒:i25「缩放定律」展示了规模如何稳定地压低损失,但用 Legg 的尺子一量就要追问——损失低、榜单高,未必等于「通用」在提升。今天的评测,量的是通用智能,还是固定题库上的应试能力?这个问题至今没有公认答案。
对本书单而言,它是刻意的收尾:从 i01 的描述长度到 i16 的注意力,再到 i25 的规模定律,30 篇读罢,最后留在手里的是一把尺子,而不只是 30 份工具说明书。
系列内相关阅读:i00 系列导语(30 篇选目的总纲)、i25 缩放定律(规模换性能的定律,与「通用」的尺子对照阅读)、i26 GPipe(倒数第二站:规模化训练的工程代表)。