GPU 大模型系统论文解读站
这是一个由 27 篇论文与资料组成的深度解读系列，源头是一份著名的研究书单：Ilya Sutskever（AlexNet 与 Transformer 论文作者之一、OpenAI 前首席科学家）在 2024 年赠予传奇程序员 John Carmack 的阅读清单。清单随推文公开流传（流传说法「约 30 条」，公开整理版本的正式条目为 27 条），Ilya 附的原话是：
“If you really learn all of these, you’ll know 90% of what matters today.”——如果你真的学会这些，你就懂了当今重要的 90%。
本系列把 27 条逐一展开成初中数学也能读懂的深度解读页：每篇只用四则运算、幂与指数、百分比和图像直觉来讲，更深的概念全部转成生活类比。
2024 年年中，一条推文把这份书单带进了大众视野：有人发现 Ilya Sutskever 给 John Carmack 发去了一份约 30 条的研究论文清单。这两个人都值得介绍一下——Ilya 是深度学习三次浪潮的深度参与者：他是 2012 年 AlexNet 的作者之一，也是 2017 年 Transformer 论文《Attention Is All You Need》的作者之一，长期担任 OpenAI 首席科学家；Carmack 则是游戏引擎时代的传奇工程师（《毁灭战士》《雷神之锤》的缔造者），后来把注意力转向通用人工智能。
清单最初通过一个 Arc 浏览器的书签文件夹分享，随后被多个开源仓库整理归档。为什么一份书单能火？因为开书单的人极少有 Ilya 这种「选手兼裁判」的资历：他不是旁观者，而是清单里多条技术路线（卷积网络、循环网络、注意力、规模化）的亲历者与推动者。这样的清单更像一张「过来人的行军地图」，而不是随手转发的收藏夹。
第一，脉络完整。27 条按时间与主题天然分成七段：先打理论地基（怎么衡量「描述得短」与「压缩得好」），再走视觉（卷积网络）、序列（循环网络），进入注意力与 Transformer，然后是架构探索（记忆、指针、图、关系推理），最后是规模化定律与「智能的定义」这种哲学收尾。读完相当于把 2012–2020 年深度学习主干走了一遍。
第二，亲历者视角。清单里没有面面俱到的教科书，只有「塑造了今天」的那批工作：AlexNet 引爆深度学习、ResNet 让网络深得起来、注意力一步步走向 Transformer、缩放定律为大模型时代定调。每一条都在回答「今天的 AI 为什么是这个样子」。
第三，本系列的特殊读法。每一篇都按同一副骨架展开：论文名片 → Ilya 为什么选它 → 从生活说起 → 核心思想拆解 → 动手算一算 → 它改变了什么 → 术语小词典 → 原文与代码。数学只用到初中水平；遇到更深的工具（微积分、矩阵、概率分布），一律翻译成生活场景再讲。
板块一 · 理论地基：怎么衡量「好模型」（i01–i05）。一切都从「描述长度」开始：最短描述即最好模型（i01 最小描述长度）；它的理论天花板是 Kolmogorov 复杂度（i02 Kolmogorov 复杂度）；Hinton 在 1993 年就把它用到神经网络权重上（i03 用描述长度精简神经网络）；咖啡自动机（i04 咖啡自动机）与「复杂动力学第一定律」（i05 复杂动力学第一定律）则讨论一个更微妙的问题——为什么封闭系统会先变复杂、再归于简单。
板块二 · 卷积网络：让机器看懂图（i06–i10）。AlexNet（i06 AlexNet）引爆一切；CS231n（i07 CS231n）把 CNN 学扎实；ResNet（i08 ResNet）解决「深不起来」，恒等映射（i09 恒等映射）解释为什么；膨胀卷积（i10 膨胀卷积）给卷积装上望远镜。
板块三 · 循环网络与注意力的诞生（i11–i15）。Karpathy 让我们看见 RNN 写作的魔力（i11 RNN 的惊人有效性）；Olah 讲透 LSTM 的门与传送带（i12 理解 LSTM）；Ilya 本人署名的 Dropout 用法（i13 RNN 正则化）；关系循环网络（i14 关系循环网络）给记忆加比较能力；Bahdanau 注意力（i15 注意力机器翻译）让翻译学会「回头看」。
板块四 · Transformer（i16–i17）。Attention Is All You Need（i16 Attention Is All You Need）是一切大模型的地基（本站另有其系统视角的深度解读 f01 页，两页互为补充）；The Annotated Transformer（i17 Annotated Transformer）把它逐行落成可运行代码。
板块五 · 架构探索（i18–i23）。指针网络（i18 指针网络）让输出「指向输入」；Order Matters（i19 Order Matters）处理无序集合；神经图灵机（i20 神经图灵机）外挂内存条；消息传递神经网络（i21 消息传递神经网络）统一图模型；关系推理模块（i22 关系推理模块）把「两两比较」做成积木；变分有损自编码器（i23 变分有损自编码器）用信息预算解释表示学习。
板块六 · 规模化（i24–i26）。Deep Speech 2（i24 Deep Speech 2）实证「端到端+变大变好」；缩放定律（i25 缩放定律）把「变大变好」变成可预测的幂律；GPipe（i26 GPipe）解决「大到装不下」的流水线并行。
板块七 · 智能的定义（i27）。压轴的 Shane Legg 博士论文（i27 机器超级智能）不造工具，只造「尺子」：通用智能到底该怎么严格定义、怎么衡量。
市面上的《建構 AI 世界最重要的 30 篇論文：用 PyTorch 完整實作》（旗標出版）封面以「Sutskever 大神推薦」为引。需要说明的是：该书按 1958–2022 的教学线自行组织选目（包含感知机、AlphaGo、BERT/GPT/RLHF 等），与 Ilya 原始清单（公开整理版 27 条）并不完全重合。两者是互补关系：本系列呈现「前沿者认为什么重要」的原单脉络，那本书呈现「教学线怎么串起 64 年」；如果你以读懂原单为目标，按本系列顺序走即可，每篇的「原文与代码」一节都给了公开链接。
零基础路线：先读板块一里最容易的 i04 咖啡自动机 与 i05 复杂动力学第一定律（不涉及神经网络，只谈「复杂度」直觉），再进板块二的 i06 AlexNet、i07 CS231n，然后按顺序走完板块三、四；板块五可按兴趣挑读；板块六适合关心大模型训练的读者；i27 机器超级智能 留到最后。
大模型从业者路线：直接读 i15 注意力机器翻译 → i16 Attention Is All You Need → i17 Annotated Transformer → i25 缩放定律 → i26 GPipe，再回补其余。每篇独立成页，可跳读；页内「它改变了什么」都标了与系列其他篇的连接。