机器超级智能

Machine Super Intelligence · Shane Legg · 2008 年博士论文 · Ilya 推荐书单 i27(压轴)

论文名片

  • 通用智能
  • 定义与度量
  • 书单压轴
基本信息一览
中文题名机器超级智能
英文题名Machine Super Intelligence
作者Shane Legg
发表2008 年博士论文
一句话定位书单压轴——从「怎么训练」跳到「智能到底是什么、怎么衡量」。
一句话总结把「通用智能」定义为「在所有可能任务上的平均表现,越通用的任务权重越合理」——不造工具,先造尺子。

原文出处见「原文与代码」。原文事实

Ilya 为什么选它

前面 26 篇都在回答「怎么把某个能力做得更好」:压缩、推理、视觉、语音、规模。压轴这一篇完全不同——它不造任何工具,而是问一个更根本的问题:「智能」到底是什么?你说某个系统聪明,这个「聪明」究竟指什么?

Shane Legg 在 2008 年的博士论文里指出一个尴尬的现实:大家天天在说某系统「聪明」,却几乎没有人给过严格定义。没有定义,就没有尺子;没有尺子,我们既无法判断今天的模型离「通用」有多远,也无法判断某次评测的进步究竟是「变聪明了」还是「刷题刷熟了」。

把这篇放在书单最后是一次刻意的收束:读完全部「怎么造」,最后回头审视「造出来的东西该如何量」。造尺子的工作看似务虚,实则是一切务实工作的前提。

从生活说起

学校要评「全能王」,第一种方案是只考数学——那评出来的其实是数学状元。第二种方案考五门固定课——可固定课表本身就偏了科:会背题目的孩子占便宜,换个题型就露馅。真正难的不是「多考几门」,而是「怎么才能考到所有可能的能力」。

更麻烦的是权重。奥数和煮饭哪个该占分?认路和下棋哪个更「基本」?平均分要算得服人,先得说清每门课占多大比重——「权重要合理」这五个字,分量比看起来重得多。

Legg 面对的正是这个放大了无数倍的难题:把「所有可能的任务」当考场,给每个任务配上合理的权重,再算一个平均分——这才是「通用智能」这把尺子该有的样子。尺子比成绩单更重要:尺子错了,再漂亮的成绩单也只是错误方向的胜利。

核心思想拆解

论文的出发点是一个不满:「聪明」「智能」这些词被用得太随便。Legg 的做法是回到最朴素也最彻底的定义:一个系统的通用智能,是它在「所有可能任务」上的平均表现——不是某几门课的高分,而是全科平均。

「所有可能任务」显然数不完,于是必须加权:常见、基本的任务权重大些,罕见、特化的任务权重小些,让平均分反映「在多大范围的任务上都能拿分」。通俗转述过来就是那句话:在所有可能任务上的平均表现,越通用的任务权重越合理。公式与推导本页一概略去,留下的是直觉:通用 = 不偏科 = 会举一反三——在没见过的任务类型上依然有像样的表现。

用这把尺子回头量,许多「智能」新闻就要重新打分:某系统在固定题库上超过人类,可能只是「单科状元」;平均分要提上来,必须把不偏科的能力铺到任务全域。论文也因此留下一个至今有效的开放问题:我们今天的种种评测,究竟是在量「通用智能」,还是在量「应试能力」?

动手算一算

做一个加权平均实验(示意数字)。把「所有可能任务」缩成三门:识字(很基本)、算术、围棋(很特化)。甲系统:识字 95、算术 85、围棋 5——基本科目极强,特化几乎为零;乙系统:三门各 60——门门平平但不偏科。

第一轮,普通平均:甲 (95+85+5)÷3 ≈ 61.7,乙 60——甲险胜。第二轮,基本科目加权(识字权重 5、算术 3、围棋 2):甲 (95×5+85×3+5×2)÷10 = 74,乙 (60×5+60×3+60×2)÷10 = 60——甲大胜。

基本加权:甲 (95×5 + 85×3 + 5×2) ÷ 10 = 74;乙 (60×5 + 60×3 + 60×2) ÷ 10 = 60

第三轮换个权重(识字 1、算术 1、围棋 8):甲 (95+85+40)÷10 = 22,乙 60——乙大胜。同一组分数,换一套权重,冠军换人。这个小实验解释了 Legg 的难题难在哪里:「所有可能任务」数不完只是第一层困难,「权重要合理」没有现成答案是第二层;两层都过关,「平均表现」才配得上「通用智能」这把尺子。

它改变了什么

原文影响 这篇论文最持久的影响,是把「通用智能」从修辞变成研究对象:此后关于智能评测、通用模型、乃至机器智能安全的大量讨论,都在「任务分布 + 平均表现」这个框架里展开。它给整个领域立了一杆可以认真争论的标尺。

它同时是提醒:i25「缩放定律」展示了规模如何稳定地压低损失,但用 Legg 的尺子一量就要追问——损失低、榜单高,未必等于「通用」在提升。今天的评测,量的是通用智能,还是固定题库上的应试能力?这个问题至今没有公认答案。

对本书单而言,它是刻意的收尾:从 i01 的描述长度到 i16 的注意力,再到 i25 的规模定律,30 篇读罢,最后留在手里的是一把尺子,而不只是 30 份工具说明书。

系列内相关阅读:i00 系列导语(30 篇选目的总纲)、i25 缩放定律(规模换性能的定律,与「通用」的尺子对照阅读)、i26 GPipe(倒数第二站:规模化训练的工程代表)。

术语小词典

本页术语速查
通用智能(Universal Intelligence)在广泛乃至全部可能任务上的平均表现能力,本篇的核心概念。
超级智能(Super Intelligence)全面显著超越人类水平的智能,论文标题所指的远景对象。
任务分布把「所有可能任务」连同各自的权重看成一张清单,平均分在它上面计算。
权重每个任务在平均分里的占比;「权重要合理」是定义能否服人的关键。
评测基准(Benchmark)固定题库式的考试;本篇提醒它与「通用」之间存在距离。
举一反三在没见过的任务类型上仍有像样表现,是「通用」的日常说法。