专项论文分析
这是 ZenMind 的专项扩展栏目:一份独立维护的 GPU 大模型系统论文中文精读(2024–2025)静态报告快照。 它与本博客的随笔文章相互独立:报告以云计算架构师视角组织, 每篇论文按统一的 13 节模板精读,并用 P/R/E/I 四级证据标签 (论文 / 官方仓库 / 外部资料 / 编辑推断)区分「论文声称」与「编辑解读」。
发布状态(截至 快照)
完整报告规划核心论文 16 篇; 本快照当前包含核心论文页 16 篇, 其余 0 篇尚未完成、暂未收录。 快照只包含可直接阅读的 HTML 页面与静态资源(不含论文 PDF、原始提取文本与构建脚本)。
核心论文页:16 / 16 已发布
已收录的核心论文页
- DistServe (推理服务与资源调度)
- Sarathi-Serve (推理服务与资源调度)
- Mooncake (推理服务与资源调度)
- vAttention (推理服务与资源调度)
- FlashInfer (推理服务与资源调度)
- EAGLE (解码加速与量化)
- Medusa (解码加速与量化)
- KIVI (解码加速与量化)
- QuaRot (解码加速与量化)
- QServe (解码加速与量化)
- FlashAttention-3 (训练、并行与 GPU Kernel)
- Liger Kernel (训练、并行与 GPU Kernel)
- MegaScale (训练、并行与 GPU Kernel)
- TorchTitan (训练、并行与 GPU Kernel)
- GaLore (训练、并行与 GPU Kernel)
- DeepSeek-V3 (训练、并行与 GPU Kernel)
奠基论文(独立内容,非核心 16 篇)
除核心 16 篇外,快照另收录奠基论文:提出于更早、被核心合集反复引用的机制原始文献。 奠基论文按同样的 13 节模板与证据规则精读,但单列展示, 不计入核心论文数量、筛选与统计。
F01 · Attention Is All You Need(Transformer)
2017 年提出 Transformer 的原始论文(NIPS 2017;快照 PDF 为 arXiv v7,2023-08-02 修订版)。 详情页显式区分这两条发表记录、原样保留英法 BLEU 41.8(摘要/表 2)与 41.0(§6.1)的文内差异, 并将论文链接的 Tensor2Tensor 标注为「官方历史实现,已归档(2026-09-14 核验)」; decoder-only、RoPE、RMSNorm、GQA、FlashAttention、现代 KV-cache 服务等后续工作均不归于该论文。
B01 · The Annotated Transformer 中文导读(加餐)
Ilya 书单 i17 原作的中文导读:覆盖原文 35 节的逐节精读——模型架构、训练、两个实战例子与注意力可视化, 关键实现配中文思路说明,初中数学可读。加餐导读页(非逐字翻译),不计入核心论文数量。
B02 · The Annotated Transformer 中文全译(加餐)
原文的中文全译:124 个单元格全译——73 段正文逐字翻译、51 段实现代码逐字节保留(注释已译), 原文全部插图收录。原文与译文均以 MIT 许可发布;不计入核心论文数量。
B03 · Mini-SGLang 代码导读(加餐)
SGLang 官方 5000 行精简推理框架的读码路线图:四进程架构、五大核心机制 (Radix Cache / Chunked Prefill / Overlap Scheduling / TP / 优化内核)、模块地图与逐层阅读顺序。 MIT 许可,无需 GPU 即可读码;不计入核心论文数量。
B04 · 深度学习讲解者图鉴(加餐)
国际与中文圈最出圈的 9 位深度学习讲解者盘点(Olah / Alammar / Karpathy / Weng / Rush / 3Blue1Brown / Nielsen / 李宏毅 / 李沐):代表作入口全部验证可访问,附「从零搞懂 Transformer 的最短学习路径」与 i 系列(i07 / i11 / i12 / i16 / i17)搭配阅读表。
B05 · 从初中数学到 Transformer:完整学习线路图(加餐)
六阶段学习线路图:初中数学打底 → 高中数学桥(3Blue1Brown 线代/微积分本质)→ 神经网络直觉 (Nielsen/micrograd)→ 序列与注意力(Olah/Karpathy)→ Transformer 主线四步闭环 → 大模型全景与 本站 16 篇推理系统精读。整合九位讲解者全部核心链接,每阶段配出口自测。
Ilya 推荐书单系列(独立内容,非核心 16 篇)
Ilya Sutskever 赠予 John Carmack 的研究书单(公开整理版 27 条,流传说法约 30 条)。 每篇按「初中数学也能懂」的深度解读骨架展开:论文名片、Ilya 为什么选它、从生活说起、 核心思想拆解、动手算一算、它改变了什么、术语小词典、原文与代码。 本系列不计入核心论文数量、筛选与统计。
已收录的 Ilya 书单页(28 / 28)
- Ilya 书单系列导语 (Ilya 推荐书单)
- 最小描述长度(MDL) (Ilya 推荐书单 · 理论地基)
- Kolmogorov 复杂度与算法随机性 (Ilya 推荐书单 · 理论地基)
- 用描述长度精简神经网络(1993) (Ilya 推荐书单 · 理论地基)
- 咖啡自动机:复杂度的起落 (Ilya 推荐书单 · 理论地基)
- 复杂动力学第一定律 (Ilya 推荐书单 · 理论地基)
- AlexNet (Ilya 推荐书单 · 卷积网络)
- CS231n(CNN 公开课) (Ilya 推荐书单 · 卷积网络)
- ResNet 深度残差学习 (Ilya 推荐书单 · 卷积网络)
- 残差网络的恒等映射 (Ilya 推荐书单 · 卷积网络)
- 膨胀卷积 (Ilya 推荐书单 · 卷积网络)
- RNN 的惊人有效性 (Ilya 推荐书单 · 循环网络与注意力)
- 理解 LSTM 网络 (Ilya 推荐书单 · 循环网络与注意力)
- 循环神经网络正则化 (Ilya 推荐书单 · 循环网络与注意力)
- 关系循环网络 (Ilya 推荐书单 · 循环网络与注意力)
- 注意力机器翻译(对齐) (Ilya 推荐书单 · 循环网络与注意力)
- Attention Is All You Need(教学版) (Ilya 推荐书单 · Transformer)
- The Annotated Transformer (Ilya 推荐书单 · Transformer)
- 指针网络 (Ilya 推荐书单 · 架构探索)
- Order Matters(集合的序列到序列) (Ilya 推荐书单 · 架构探索)
- 神经图灵机 (Ilya 推荐书单 · 架构探索)
- 消息传递神经网络 (Ilya 推荐书单 · 架构探索)
- 关系推理模块 (Ilya 推荐书单 · 架构探索)
- 变分有损自编码器 (Ilya 推荐书单 · 架构探索)
- Deep Speech 2 (Ilya 推荐书单 · 规模化)
- 神经语言模型缩放定律 (Ilya 推荐书单 · 规模化)
- GPipe 流水线并行 (Ilya 推荐书单 · 规模化)
- 机器超级智能(Shane Legg) (Ilya 推荐书单 · 智能的定义)
如何阅读这份报告
- 每个数字都带完整条件(硬件、模型、精度、批量、基线与 PDF 页码); 论文未披露的字段会明确写出,不会留空。
- P=论文正文(含页码),R=核验过的官方仓库, E=外部资料(仅用于部署映射与版本核对),I=编辑推断。
- 报告不做跨论文性能数字的横向排名:各篇硬件、模型与负载口径不同, 任何倍数请回到对应详情页核对完整条件。