GPU 大模型系统论文解读站
面向云计算架构师、AI 基础设施负责人、推理/训练平台技术负责人的中文论文精读站。每篇解读回答五个问题：该技术解决什么云上问题、数据如何经过 GPU 与系统组件、代价是什么、何时值得采用、怎样验证。覆盖 2024–2025 年 16 篇 GPU 大模型系统论文。
解决的云架构问题：在线 LLM 服务如何在不违反时延 SLO 的前提下，提高 GPU 集群的整体效率与容量上限。
这组论文覆盖服务侧的主要杠杆：把预填与解码拆开或切块（DistServe、Sarathi-Serve、Mooncake）、把 KV Cache 显存管好（vAttention）、把注意力算子换快（FlashInfer）。适合先读 DistServe 建立 TTFT/TPOT/goodput 的指标框架。
阅读顺序 01 DistServe → 02 Sarathi-Serve → 03 Mooncake → 04 vAttention → 05 FlashInfer
解决的云架构问题：解码慢、显存贵，如何在可控的质量与硬件约束下，压低每 token 的服务成本。
这组论文分两类杠杆：减少解码步数（EAGLE、Medusa 的投机采样）与降低每步的显存/带宽代价（KIVI、QuaRot、QServe 的量化）。量化类方案需要一起评估精度保持条件与硬件支持。
阅读顺序 06 EAGLE → 07 Medusa → 08 KIVI → 09 QuaRot → 10 QServe
解决的云架构问题：大规模训练如何吃满集群算力、把显存与通信撑住，并保持长时间稳定运行。
这组论文从底到顶：单算子（FlashAttention-3、Liger Kernel）、单卡显存（GaLore）、训练框架（TorchTitan）、万卡集群（MegaScale）与全栈实践（DeepSeek-V3 报告）。适合按「算子 → 框架 → 集群」顺序阅读。
阅读顺序 11 FlashAttention-3 → 12 Liger Kernel → 13 MegaScale → 14 TorchTitan → 15 GaLore → 16 DeepSeek-V3
没有匹配的论文。请调整关键词或放宽筛选条件，也可以选择「重置筛选」。
2024 推理服务与资源调度
问题：共置服务中预填与解码互相干扰，双 SLO 下只能堆 GPU 达标。
方法：按实例拆分两阶段，放置算法联合优化并行策略与资源，KV Cache 按需拉取。
2024 推理服务与资源调度
问题：长预填卡住解码迭代，交互时延与 GPU 吞吐只能二选一。
方法：预填切块与解码同批执行，按 token 预算调度，在不伤时延下扩大批量。
2024 推理服务与资源调度
问题：突发流量与长上下文下，KV Cache 显存与集群算力错配。
方法：以 KV Cache 为中心分离 prefill/decode 集群，跨本地与远端分层池化调度。
2024 推理服务与资源调度
问题：PagedAttention 的固定页映射带来碎片、预留浪费与接口耦合。
方法：复用 GPU 虚拟内存按需分配物理页，虚拟地址连续、物理页离散。
2025 推理服务与资源调度
问题：服务端注意力负载多样，专用 kernel 难以复用与组合。
方法：块稀疏可组合 kernel 库，统一 KV 布局，支持共享前缀与负载均衡调度。
2024 解码加速与量化
问题：自回归解码每步仅产出一个 token，GPU 算力大量闲置。
方法：特征层自回归的草稿头做投机采样，单次验证多个 token，接受率更高。
2024 解码加速与量化
问题：逐 token 解码受访存限制，直接多预测又难以保证质量。
方法：多个解码头并行产出候选，树注意力一次验证多条路径。
2024 解码加速与量化
问题：KV Cache 随上下文与批量线性膨胀，显存先见顶。
方法：Key 按通道、Value 按 token 的 2bit 非对称量化，保持逐 token 生成兼容。
2024 解码加速与量化
问题：激活离群值让 4bit 量化的精度大幅下滑。
方法：计算不变的 Hadamard 旋转消除离群值，实现 W4A4 端到端低比特推理。
2024 解码加速与量化
问题：现有 GPU 上 4bit 权重的反量化开销吃掉理论收益。
方法：W4A8KV4 精度与计算感知权重布局，配合高效 kernel 提升 4bit 服务吞吐。
2024 训练、并行与 GPU Kernel
问题：Hopper 硬件特性未被 attention kernel 用满，距算力峰值远。
方法：warp 专化与 TMA 异步重叠访存与计算，软件流水 softmax，支持 FP8。
2024 训练、并行与 GPU Kernel
问题：训练中激活复制与超大 logits 张量吃掉大量显存。
方法：RMSNorm、RoPE、SwiGLU、交叉熵等融合算子原地或分块计算，降低显存。
2024 训练、并行与 GPU Kernel
问题：万卡规模训练大模型，通信、稳定性与效率必须全栈协同。
方法：分层通信优化与混合并行，配合容错与监控，支撑万卡生产训练。
2024 训练、并行与 GPU Kernel
问题：组合四维并行要拼装多套外部库，体验割裂、难以维护。
方法：PyTorch 原生 FSDP/TP/PP/CP 组合式设计，统一检查点与容错管理。
2024 训练、并行与 GPU Kernel
问题：优化器状态显存随参数量增长，单卡训不动大模型。
方法：把梯度投影到低秩子空间压缩优化器状态，更新时投回原空间，兼容 Adam。
2024 训练、并行与 GPU Kernel
问题：MoE 大模型的训练成本与跨节点通信成为规模化瓶颈。
方法：无辅助损失负载均衡 MoE、FP8 混合精度与高效跨节点通信压低成本。
除 16 篇 2024–2025 年 GPU/LLM 系统论文外，本站单列奠基论文：提出于更早、被合集反复引用的机制原始文献。奠基论文不进入上方筛选区、选型矩阵与站点统计（卡片数量、筛选逻辑与统计口径均按核心 16 篇保持不变），只按同一 13 节模板与 P/R/E/I 证据规则精读。
2017 奠基论文 F01
问题：循环模型沿位置串行、训练难并行；卷积模型跨距离关联的操作数随距离增长。
方法：完全以多头自注意力＋逐位置前馈构成编码器-解码器，任意两位置常数次操作关联。
收录说明：2017 年模型结构论文，非 2024–2025 系统论文，故单列而不入核心合集。详情页显式区分 arXiv v7（2023-08-02 修订）与 NIPS 2017 两条发表记录、原样保留英法 BLEU 41.8（摘要/表 2）与 41.0（§6.1）的文内差异，并将 Tensor2Tensor 标注为「官方历史实现，已归档（2026-09-14 核验）」；decoder-only、RoPE、RMSNorm、GQA、FlashAttention、现代 KV-cache 服务等后续工作均不归于该论文。
本矩阵只收录可规范化的定性字段，用于快速圈定候选；论文之间的性能数字不可直接横向比较（硬件、模型、精度、批量与上下文长度不一致），任何数字请进入对应详情页查看完整条件。「工程侵入性」为编辑给出的定性判断（I），非论文结论。
| 论文 | 年份 | 生命周期 | 优化层 | 核心资源 | 工程侵入性（定性 I） |
|---|---|---|---|---|---|
| 01 DistServe | 2024 | 推理 | 运行时 · 集群 | 算力 · KV Cache · 网络 | 高（新增服务系统与编排） |
| 02 Sarathi-Serve | 2024 | 推理 | 运行时 | 算力 · KV Cache | 中（服务引擎内调度改造） |
| 03 Mooncake | 2024 | 推理 | 集群 · 运行时 | KV Cache · 网络 | 高（集群级架构改造） |
| 04 vAttention | 2024 | 推理 | 运行时 | HBM / 显存 | 中（替换引擎内存管理） |
| 05 FlashInfer | 2025 | 推理 | Kernel | 算力 · KV Cache | 中（替换或叠加 kernel 库） |
| 06 EAGLE | 2024 | 推理 | 算法 | 算力 | 中（需训练草稿头并改解码循环） |
| 07 Medusa | 2024 | 推理 | 算法 | 算力 | 中（需训练解码头并改验证） |
| 08 KIVI | 2024 | 推理 | 算法 | KV Cache · HBM / 显存 | 中（替换注意力实现并量化） |
| 09 QuaRot | 2024 | 推理 | 算法 | HBM / 显存 · 算力 | 中（需校准与模型结构变换） |
| 10 QServe | 2024 | 推理 | 算法 · Kernel | HBM / 显存 · 算力 · KV Cache | 中（量化方案与服务栈协同改造） |
| 11 FlashAttention-3 | 2024 | 训练 + 推理 | Kernel | 算力 · HBM / 显存 | 低（替换 attention kernel） |
| 12 Liger Kernel | 2024 | 训练 | Kernel | HBM / 显存 | 低（替换训练算子，可回退） |
| 13 MegaScale | 2024 | 训练 | 集群 | 网络 · 算力 | 高（自研集群级训练系统） |
| 14 TorchTitan | 2024 | 训练 | 运行时 | 算力 · HBM / 显存 | 中（更换训练框架） |
| 15 GaLore | 2024 | 训练 | 算法 | HBM / 显存 | 低（替换优化器，侵入小） |
| 16 DeepSeek-V3 | 2024 | 训练 | 算法 · 集群 | 算力 · 网络 · HBM / 显存 | 高（全栈自研训练方案） |
详情页出现的每个指标都必须先对齐口径再比较。下表给出常见指标的定义与比较前提；各论文的具体口径以其详情页「成本 / 性能 / SLO」与「实验与指标」章节为准。
| 指标 | 定义 | 单位 / 口径 | 比较前提 |
|---|---|---|---|
| tokens/s（吞吐） | 单位时间内生成或处理 token 的数量，可分预填吞吐与解码吞吐。 | token/秒；常按请求或按卡归一 | 必须同批大小、上下文长度、精度与硬件对比；不同系统对「计入了什么 token」口径可能不同。 |
| TTFT | time to first token：从发出请求到收到首个 token 的时间，主要反映预填与排队时延。 | 秒或毫秒；平均或 P90/P99 分位 | 需对齐输入长度分布、到达过程与排队策略；分位口径（均值 vs P90）不可混用。 |
| TPOT | time per output token：除首 token 外，平均每个输出 token 的生成时间。 | 秒或毫秒；平均或分位 | 需对齐输出长度、批大小与解码并行度；单请求总时延 ≈ TTFT + TPOT × 输出 token 数。 |
| 峰值显存 | 训练或推理过程中 GPU 显存占用的最大值。 | GB；区分权重 / 激活 / KV / 优化器状态 | 需说明测量阶段（前向/反向/长稳）、模型规模、精度与上下文长度；不同测量工具口径有差异。 |
| GPU 利用率 | 时间片内 GPU 至少有一个 kernel 在执行的比例。 | 百分比；采样口径依工具而异 | 「利用率高」不等于「计算效率高」；kernel 可能只是在等访存。应结合 MFU 与时延分解解读。 |
| MFU | model FLOPs utilization：实际达到的模型 FLOPs 除以硬件峰值 FLOPs（按精度计）。 | 百分比；是否计入重计算与通信需注明 | 需对齐硬件型号、精度（FP16/BF16/FP8 峰值不同）与是否含梯度重计算；跨精度不可直接比。 |
| goodput | 满足时延 SLO 约束的有效吞吐：只有达到 SLO 的请求才计入吞吐（DistServe 的核心口径）。 | req/s；常按每 GPU 归一 | 必须同时给出 TTFT/TPOT 阈值、达标率目标与到达过程；SLO 不同则 goodput 不可比。 |
| SLO attainment | 满足全部时延 SLO 约束的请求比例。 | 百分比；常用 90% / 99% 作为目标 | 需给出具体阈值与达标率目标档位；同一系统在 90% 与 99% 目标下的容量差异可能很大。 |
每篇详情页把「论文声称、仓库核验、外部资料、编辑推断」分开标注，不混写。证据标签共四级：
详情页中每个性能数字必须同时携带：指标定义、硬件、模型/规模、精度、批量/并发、输入输出长度、基线、论文定位（页码/表号）。论文未披露的字段会明确写「论文未明确披露」，不会留空，也不会用其他论文的数字补齐。
最后核验日期：（各详情页以页面顶部标注的核验日期为准）。