从初中数学到 Transformer：完整学习线路图
这份线路图把业界九位顶级讲解者的全部核心资源排成一条路：起点是初中数学，终点是能亲手搭出 GPT、并读懂本站 16 篇推理系统论文。六个阶段，每个阶段都有目标、资源、出口自测；卡住就换同阶段的中文资源换脑子。
线路图总览
| 阶段 | 主题 | 参考时长 | 出口标志 |
|---|---|---|---|
| 阶段 0 | 初中数学打底 | 2 周 | 能画 y=2^x，能解释指数增长 |
| 阶段 1 | 高中数学桥：向量·矩阵·导数 | 1 个月 | 能说清"矩阵乘向量=变换空间" |
| 阶段 2 | 神经网络直觉 | 1 个月 | 能手算两层网络的前向+反向 |
| 阶段 3 | 序列与注意力前夜 | 3 周 | 能画出 LSTM 一个时间步的数据流 |
| 阶段 4 | Transformer 主线 | 1 个月 | 不看资料写出多头注意力的形状运算 |
| 阶段 5 | 大模型全景与推理系统 | 持续 | 能读懂本站 16 篇核心论文解读 |
阶段 0 · 初中数学打底
阶段目标：唤醒四则运算、幂与指数、百分比、坐标系与函数图像的肌肉记忆；建立"模型就是一个函数"的核心直觉。
深度学习用到的数学，听起来吓人，底座其实很小：加乘、幂、百分比、坐标图像。本站 Ilya 书单系列的开头两篇特意设计成完全不需要神经网络知识，初中数学即可起步：
- i04 咖啡自动机——用一杯咖啡讲"复杂度"与描述长度
- i05 复杂动力学第一定律——为什么系统先变复杂再变简单
- i00 系列导语——看看整条路的地图，建立心理预期
出口自测：能解释"指数增长为什么可怕"；能在坐标系里画出 y=2^x 并说明它和 y=2x 的区别。
阶段 1 · 高中数学桥：向量、矩阵、导数
阶段目标：补齐深度学习需要的全部数学词汇——向量和矩阵（数据怎么放）、矩阵乘法（数据怎么变）、导数（模型怎么学）。不用刷题，用几何直觉。
- 3Blue1Brown《线性代数的本质》（Essence of Linear Algebra）——16 集动画，把向量、矩阵乘法、变换讲成"空间被如何拉伸旋转"；深度学习的全部矩阵运算都能在这里找到几何对应。
- 3Blue1Brown《微积分的本质》（Essence of Calculus）——导数=瞬时变化率、链式法则的动画直觉；反向传播的全部数学就建立在链式法则上。
- 指数与对数：D2L 中文版不需要，任何高中教材章节均可；配合本站 i01 最小描述长度（用"压缩"讲信息量，对数学要求很低）。
出口自测：能说清"矩阵乘向量 = 对空间做一次变换"；能解释"导数=瞬时变化率"以及为什么训练模型要"沿着导数的反方向走"。
阶段 2 · 神经网络直觉
阶段目标：搞懂神经网络是什么、它怎么从数据里"学"——前向传播、损失函数、梯度下降、反向传播四个词全部变成你亲手算过的东西。
- 3Blue1Brown 神经网络系列（4 集）——结构、梯度下降、反向传播、手写数字识别，每集十几分钟的可视化直觉。
- Michael Nielsen《Neural Networks and Deep Learning》第 1-2 章——免费交互式书，手推一个手写数字识别网络的训练过程。
- Karpathy micrograd（Zero to Hero 第 1 集）——用约 100 行 Python 造一个自动求导引擎，反向传播从此不再是咒语。
- 本站精读：i06 AlexNet（深度学习引爆点）、i07 CS231n（CNN 系统课解读）。
出口自测：能给一个两层网络（如 2-3-1）手算一次前向传播和一次反向传播的每个数字；能回答"学习率太大/太小分别会发生什么"。
阶段 3 · 序列与注意力前夜
阶段目标：理解神经网络怎么处理"有顺序的语言"——循环网络的魔力与极限，以及为了突破极限而诞生的注意力思想。
- Karpathy《The Unreasonable Effectiveness of RNNs》——字符级文本生成，看着模型一个字母一个字母学会写莎士比亚和 Linux 代码。
- Olah《Understanding LSTM Networks》——门与传送带的图解经典。
- CS231n 讲义的 softmax 与交叉熵章节（cs231n.github.io）——分类与损失函数的标准讲法。
- 本站精读：i11 RNN 的惊人有效性、i12 理解 LSTM（可选 i13 RNN 正则化）。
出口自测：能画出 LSTM 一个时间步的完整数据流（输入门/遗忘门/输出门各在哪）；能解释"RNN 为什么记不住长文"以及注意力思想怎么解决它。
阶段 4 · Transformer 主线
阶段目标：吃透现代大模型的地基架构——从图解到原文到逐行代码再到亲手搭建，四步闭环。
- 第一步 · 图解：The Illustrated Transformer（Jay Alammar）——30 分钟建立整体图景。
- 第二步 · 原文：Attention Is All You Need（arXiv:1706.03762）——带着图解回去读，陌生的只剩符号；配套本站 i16 逐节解读。
- 第三步 · 逐行代码：The Annotated Transformer（Sasha Rush）——论文每段旁边是可运行 PyTorch；配套本站 i17 解读。
- 第四步 · 亲手搭建：Karpathy《Let's build GPT》（课程仓库 / nanoGPT）——从空文件手写一个能训练的小 GPT。
- 补细节：The Illustrated GPT-2（解码器栈）、Attention? Attention!（Lilian Weng）（注意力变体综述）。
- 本站补充前史：i15 注意力机器翻译——注意力诞生于 Transformer 之前的那一刻。
出口自测：不看资料能写出多头注意力的形状运算（Q/K/V 从哪来、乘什么、softmax 后乘什么）；能解释残差连接和 LayerNorm 各自解决什么问题。
阶段 5 · 大模型全景与推理系统
阶段目标：从"懂 Transformer"升级到"懂大模型生态"——训练怎么规模化、推理为什么贵、本站 16 篇核心论文解决的问题为什么重要。
- 全景定位：Karpathy《Intro to Large Language Models》（1 小时讲座）——把 GPT 放进大模型全景图。
- 规模化与训练系统：本站 i25 缩放定律、i26 GPipe，然后进入 16 篇核心合集：推理服务（DistServe/Sarathi-Serve/Mooncake）、调度与显存（vAttention）、内核（FlashInfer）、解码加速与量化（EAGLE/Medusa/Kivi/QuaRot/QServe）等。
- 中文伴读：李沐「跟李沐学AI」论文精读（按需对应）· D2L 中文版（当工具书查）· 李宏毅年度课程（追当年热点：从 Transformer 到 Agent）。
- 前沿长文：Lilian Weng 的 Lil'Log（扩散模型、Agent 等主题综述）· Distill 存档（可解释性经典）。
- 代码向进阶：Karpathy Zero to Hero 后续集数（makeMore 系列：把语言建模吃得更深）。
出口自测：能读懂本站 16 篇核心解读并回答"这篇论文把推理的哪个环节优化了多少"；能给朋友讲清"预训练-后训练-推理部署"三段各自在干什么。
配套使用原则
三条原则：① 每个阶段的出口自测过关再进下一阶段，跳步是学不会的主要原因；② 卡住超过两天就换同阶段的中文资源（李宏毅课程 / 李沐视频 / D2L）换脑子再回来；③ 本站 i 系列永远扮演"论文级精读"那一层——直觉来自讲解者，严谨来自原文，连接两者的就是本站。
两个常见坑：① 不要在阶段 1 追求数学完美主义——深度学习需要的矩阵和导数直觉，3Blue1Brown 两个系列足够启动，边做阶段 2 边回头补；② 不要跳过阶段 4 的"亲手搭建"直接进阶段 5——没有手写过 GPT 的人读推理系统论文，缺的正是"这个东西在优化我写的那个循环"的实感。
全部资源链接（按阶段）
- 阶段 0-1：本站 i04 / i05 / i01 · 线性代数的本质 · 微积分的本质
- 阶段 2：3B1B 神经网络系列 · Nielsen 免费书 · micrograd · 本站 i06 / i07
- 阶段 3：RNN 有效性 · 理解 LSTM · CS231n 讲义 · 本站 i11 / i12
- 阶段 4：Illustrated Transformer · 原文 · Annotated · Let's build GPT · Illustrated GPT-2 · Attention 综述 · 本站 i15 / i16 / i17
- 阶段 5：Intro to LLMs · 本站 16 篇核心合集与 i25 / i26 · 李沐精读 · D2L · 李宏毅课程 · Lil'Log · Distill