GaLore：以梯度低秩投影实现显存高效的全参数 LLM 训练

1. 摘要与一句话判断

3 分钟速读

1. 问题：LLM 训练显存被权重、梯度与优化器状态共同挤占——LLaMA 7B 从零预训练、单 batch 即需至少 58GB（14GB 参数 + 42GB Adam 状态与权重梯度 + 2GB 激活，BF16、序列 2048）；LoRA 省显存但把参数搜索限制在低秩子空间、改变训练动态，预训练还需 ReLoRA 式全秩热身 P（第 1-2 页 §1）。
2. 方案：利用「梯度在训练中趋于低秩」（引理 3.3 等理论）这一性质，每 T 步对梯度 G_t 做 SVD 取前 r 个左奇异向量构成投影矩阵 P_t，Adam 的 M/V 只在紧凑空间 R_t = P_t^⊤G_t 上维护；更新经 α·P_t·N_t 投影回原空间并立即并入权重。只需一侧投影：m ≤ n 取 P^⊤G，否则 GQ。每 T 步换子空间，多子空间组合等效全参数学习 P（第 4-6 页 §3-§4、算法 2）。
3. 论文声称的主要结果：优化器状态至多省 65.5%、8-bit GaLore 优化器内存较 BF16 基线至多省 82.5%、总训练显存省 63.3%；LLaMA 7B 在 C4 上预训练 19.7B tokens，8-bit GaLore 困惑度 14.65 vs 8-bit Adam 14.61（单次试验）；实测 22.0G 显存即可预训练 7B——在 RTX 4090 的 24GB 容量内（无模型并行/检查点/卸载）；GLUE 上 RoBERTa-Base rank=4 平均 85.89 超 LoRA 85.61 P（显存数字见第 1 页摘要；GLUE 分数见第 2 页 §1 与第 9 页表 4；其余见第 7-9 页；条件详见 #experiments）。
4. 云上含义：优化器状态显存从与参数同量级降到约其 1/3 以下，使「消费级单卡/小显存实例跑 7B 级训练」在容量上成立；I 但单卡 token batch 很小（≤500，开激活检查点至 4096），实际吞吐要靠数据并行横向补，成本核算必须同时计入 −17% 吞吐开销与小 batch 效率。
5. 主要限制：7B 对比为单次试验、未调超参；65.5%/63.3% 等百分比挂在图 1 的「估算内存」分解上（22.0G 才是实测）；当前实现吞吐开销 17%、效率优化被列为未来工作；8.8% 的吞吐可通过关闭逐层更新换回（显存随之 +2.32G）P（第 8-9 页、第 23 页表 11）+ R（仓库 README 的 7B 演示口径为 bsz=16、22.8G、开激活检查点，2026-09-15 核验）。

2. 问题背景

显存问题解剖：LLM 训练的显存不只参数本身——Adam 类优化器要为每个可训练参数存一阶矩 M 与二阶矩 V，加上权重梯度，常常超过参数存储自身。论文算例：LLaMA 7B 从零预训练、单 batch 需至少 58GB＝14GB（BF16 参数）+ 42GB（Adam 优化器状态与权重梯度）+ 2GB（激活）；该估算基于 LLaMA 架构、BF16、最大序列长 2048（脚注 1）。这使得 7B 预训练在 RTX 4090 这类 24GB 消费级卡上不可行 P（第 1 页 §1）。

LoRA 路线的两个根本限制（论文归纳）：P（第 1-2 页 §1）

1. 限制参数搜索空间：LoRA 把 W 重参数化为 W₀ + BA（r ≪ min(m,n)），若最优权重本身非低秩（如线性回归中最优 W* 高秩），低秩假设永远到不了最优解。
2. 改变训练动态：同时优化 B、A 与原模型轨迹不同；预训练场景下 ReLoRA 需要先做全秩训练热身，才能在低秩子空间中继续优化。

此外，LoRA 在微调上也未被证明能达到全参微调的可比性能（引 Xia et al., 2024）P（第 2 页 §1）。

相关方法的定位（论文 §2 与附录 A）：P（第 2-3 页 §2、第 13 页附录 A）

• Adafactor：对二阶统计做低秩分解省显存；GaLore 与其形似而质不同——GaLore 利用的是梯度的低秩结构，且可一/二阶统计同时压缩，还能与 Adafactor 叠加。
• 8-bit 优化器（Dettmers et al., 2022）：以分块量化压状态位宽；GaLore 可直接叠加（8-bit GaLore）。
• ReLoRA：面向预训练的 LoRA 变体，周期性把 BA 并入权重并重置，但需全秩热身与仔细的合并/学习率重置调参。
• LOMO/AdaLOMO：融合反向与优化器更新、不保留权重梯度；论文认为其依赖的 vanilla Adafactor 在更大规模上有训练不稳定性记录，直接用于从零大规模预训练存疑，但「GaLore + 融合反向」是论文点名的有前景方向。
• 低秩梯度通信/压缩线（PowerSGD 等）与子空间学习：梯度天然低秩已被理论与实验广泛观察，GaLore 把它用于优化器状态压缩而非通信压缩。

目标工作负载与约束：LLaMA 类 Transformer 的从零预训练（60M–7B，C4、无数据重复）与全参微调（GLUE/SQuAD/指令数据）；显存受限单卡到 64 卡 A100 集群；优化器以 Adam 族为主（AdamW、8-bit Adam、Adafactor）P（第 7-9 页 §5、第 20 页附录 C）。

3. 核心机制

3.1 理论地基：低秩的是梯度，不是权重

• 可逆网络的梯度形式（定理 3.2）：对可逆网络（含无偏置线性层、ReLU/多项式激活等的组合），ℓ2 或小 logits 的 softmax 损失下，层权重梯度可写成 G_l = J_l^⊤(·) − J_l^⊤J_l W_l f_{l−1}f_{l−1}^⊤ 的结构化形式（batch size 1）——这是「梯度会变低秩」的结构来源 P（第 3 页 §3.2、第 13-14 页 B.1）。
• 训练中梯度变低秩（引理 3.3）：若梯度满足参数化形式 G_t = (1/N)Σ(A_i − B_i W_t C_i)（A_i 常数、B_i/C_i 半正定），vanilla SGD 下稳定秩 sr(G_t) 以指数速度衰减到由 G_{t0} 决定的小值；推论 3.4 进一步给出 sr(G_t) ≤ n/2 的界；特殊结构下可到 rank-1（推论 3.5）P（第 3-4 页、第 15-16 页 B.2）。
• Transformer 外推：Transformer 不属可逆网络，但借 JoMA 框架可证 FFN project-up 权重的梯度随时间「指数级更低秩」（引理 B.6，第 17-18 页 B.3）P。

I 编辑注：这组定理解释了「为什么压梯度状态可行」，也解释了 GaLore 的适用边界——它依赖梯度谱在训练中聚集到少数方向；论文未对任意架构/损失给出普适保证。

3.2 GaLore 定义与收敛性

P（第 4 页定义 3.6 与式 10、第 5 页定理 3.8 与式 11；第 18-19 页 B.4 证明）。与 LoRA 的本质区别：当 r = min(m,n) 且 ρ_t ≡ 1 时，GaLore 精确还原原模型训练轨迹；而 LoRA 即使 BA 满秩也与原轨迹不同——GaLore 不引入额外的低秩参数化 P（第 5 页 §3.3 末）。

3.3 投影矩阵怎么取：SVD + 单侧投影（算法 2）

• SVD 取主子空间（式 12-13）：G_t = USV^⊤ ≈ Σ_{i≤r} s_i u_i v_i^⊤，取 P_t = [u_1…u_r]、Q_t = [v_1…v_r]——即取当前梯度谱的前 r 个方向，而非难求的 B̂/Ĉ 特征向量 P（第 5 页 §3.3）。
• 单侧投影（省一半投影矩阵）：实现上只用 P 或 Q 一个：m ≤ n 时投影 P^⊤G，否则 GQ P（第 6 页 §4.2）。I 这意味着紧凑状态落在矩阵较大一侧的 r 秩空间。
• 算法 2（Adam with GaLore）逐步：① t mod T = 0 时对 G_t 做 SVD、P_t ← U[:, :r]，否则复用 P_{t−1}；② R_t ← P_t^⊤G_t（紧凑空间）；③ 在 R_t 上做标准 Adam（M/V 指数滑动平均 + 偏置校正）；④ N_t = M_t/(√V_t + ε)（式 15）；⑤ G̃_t ← α·P_t·N_t 投影回原空间；⑥ W_t ← W_{t−1} + η·G̃_t P（第 6 页算法 2）。
• 状态形状照录：算法 2 印刷 M₀、V₀ ∈ R^{n×r}，而 R_t = P_t^⊤G_t ∈ R^{r×n}；I 两者元素量同为 nr（m ≤ n 口径，表 1 的 mr + 2nr 亦按元素数计），形状印刷不一致处按原文照录、不作调和。

3.4 子空间组合：多段低秩 = 全参数学习（§4.1）

固定单一子空间只能让权重沿其生长，不是全参数学习；GaLore 每 T 步对当前梯度重新 SVD、切换到新子空间：W_t = W₀ + ΔW_T1 + ΔW_T2 + …（式 14，图 2）P（第 5 页 §4.1）。切换频率 T 是关键超参：过频→SVD 开销上升、破坏定理 3.8 的固定投影条件、且优化器状态跨子空间累积会失真；过疏→困于不再重要的子空间。论文实验：T 在 50–1000 间差异不大，SVD 总开销相对其他省显存技术可忽略（<10%）P（第 5 页 §4.1、第 9 页图 5 左）。

3.5 超参数与内存账（§4.2-§4.4，表 1）

• 仅三个新增超参：秩 r（与 LoRA 共有）、子空间切换频率 T、尺度因子 α。α 类似 LoRA 的 α/r 但不随 r 缩放——预训练时 r 小，α/r 会显著影响收敛 P（第 6 页 §4.4）。
• 内存账：GaLore 增量立即并入 W、无需保存 BA：合计 mn + mr + 2nr；LoRA 需 mn + 3mr + 3nr。逐项：GaLore 优化器状态 mr + 2nr（P 加 M、V），LoRA 为 2mr + 2nr P（第 6 页 §4.2、表 1）。由此（§1）声称预训练中较 LoRA 至多省 30% 内存 P（第 2 页 §1）。
• 与现有技术组合：直接套在 8-bit Adam 实现上（8-bit GaLore）；采用逐层权重更新（反向传播中就地更新、不保留权重梯度，同 LOMO 系技术）P（第 6 页 §4.3）。8-bit GaLore + 8-bit 优化器 + 逐层更新合计「优化器状态内存成本低于全秩的 10%」P（第 2 页 §1）。

4. GPU/系统数据路径

端到端文字序列（与图中编号一致）

1. ① 全秩空间前向/反向：每个线性层 W ∈ R^{m×n}（m ≤ n）以 BF16 参与前向与损失计算，反向产生本层梯度 G_t ∈ R^{m×n}；权重本身不做低秩参数化（与 LoRA 的本质区别），引理 3.3 保证训练中 G_t 趋于低秩 P（第 3-4 页 §3.2、第 6 页 §4.2）。
2. ② 投影矩阵刷新（每 T 步）：t mod T = 0 时对 G_t 做 SVD，取前 r 个左奇异向量 P_t = U[:, :r]；其余步复用 P_{t−1}。实现只取一侧投影：m ≤ n 用 P^⊤G，否则 GQ P（第 5 页式 12-13、第 6 页 §4.2、算法 2）。
3. ③ 进入紧凑空间：R_t = P_t^⊤G_t ∈ R^{r×n}；Adam 的一/二阶矩 M_t、V_t 只在此 r 秩空间存在——逐层优化器状态 mr + 2nr（LoRA 为 2mr + 2nr）P（第 6 页算法 2、表 1）。
4. ④ 紧凑空间内 Adam：M/V 指数滑动平均 + 1/(1−β^t) 偏置校正，N_t = M_t/(√V_t + ε)；再乘不随 r 缩放的尺度因子 α P（第 6 页算法 2、式 15、§4.4）。
5. ⑤ 投影回原空间并更新：G̃_t = α·P_t·N_t；W_t ← W_{t−1} + η·G̃_t。增量每步立即并入权重——无需保存 BA、无需全秩热身；可选逐层权重更新在反向传播中就地完成、不保留权重梯度（7B 估算中较 8-bit Adam 再省 13.5G）P（第 4 页定义 3.6、第 6 页 §4.3、第 9 页 §5.5）。
6. ⑥ 子空间切换（每 T 步循环回 ②）：W = W₀ + ΔW_T1 + ΔW_T2 + …，多子空间组合实现全参数学习；切换频率 T 默认 200，50–1000 间差异不大，SVD 总开销 <10% P（第 5 页 §4.1、式 14、图 2；第 8 页 §5.1）。

5. 架构权衡

• 全参数学习 ↔ 投影/SVD 开销

  P 不改训练动力学的全参数学习是核心卖点（第 5 页 §3.3）。代价是实现级吞吐开销：8-bit GaLore 1019.63 tokens/s，论文口径较 8-bit Adam 慢 17%；效率优化被列为未来工作（第 9 页 §5.5）。I 以吞吐换显存门槛，适合「装不下」比「跑不快」更痛的场景。

• 优化器状态压缩 ↔ 梯度保真窗口

  P M/V 只在 r 秩空间累积；子空间切换过频会使优化器状态跨子空间失真（第 5 页 §4.1）。I 切换瞬间相当于状态「换了坐标系」，论文用 50–1000 的宽容区间掩盖了该风险，但极小 r + 极频切换的组合应避开。

• 秩 r ↔ 收敛速度与步数

  P 一定范围内降秩只轻微影响收敛：rank 128 跑 80K 步的损失低于 rank 512 跑 20K 步（图 5 右，130M）；1B 上 r=1024 甚至反超全秩基线（第 8-9 页）。I 显存受限时「小秩 + 更多步数」是可行的兑换曲线，但总步数即总成本，需在 §7.2 公式中折算。

• 单侧投影 ↔ 实现简洁

  P 只用 P 或 Q 一个投影矩阵：m ≤ n 取 P^⊤G，否则 GQ（第 6 页 §4.2）。I 投影矩阵内存按定义 3.6 的形状（P ∈ R^{m×r}、Q ∈ R^{n×r}）推导：双侧同存合计 (m+n)r；单侧只存其一——m ≤ n 存 P 即 mr、m > n 存 Q 即 nr，恒为两者中较小者（与表 1 优化器状态 mr + 2nr 中投影矩阵 P 占 mr 的口径一致）。代价是定义 3.6 的双侧投影只停留在理论形式；论文未单独消融单/双侧投影的精度差。

• 即插即用 ↔ 优化器生态依赖

  P GaLore 与优化器正交，两行代码接入（算法 1），适配 AdamW/8-bit Adam/Adafactor（图 3）。I 它压的是「逐元素梯度统计」，对不维护此类状态的优化器（如纯 SGD + 动量的部分形态）收益不同；论文实验未覆盖该象限。

• 消费级可达 ↔ 规模验证边界

  P 7B/19.7B tokens 是论文最大验证点，且 7B 对比为单次试验、未调超参（第 8 页 §5.3）。I 更大规模、更长 tokens、多机扩展下的行为（弹性训练仅被列为展望）均无证据；不要外推到「70B 也能这样训」。

• 逐层更新 ↔ 吞吐

  P 逐层权重更新省 13.5G（7B 估算口径）但拖慢吞吐：关闭后 1019.63→1109.38 tokens/s（+8.8%）、显存 5.63G→7.95G（1B 实测，表 11）。I 这是图内最清晰的一根「显存↔吞吐」旋钮，按单卡显存余量择档。

6. 云上部署映射

以下映射为厂商中立示例；具体产品命名/规格仅作说明并标 E，以厂商当时目录为准，未逐一在线核验。论文事实（硬件、机制）单独标注 P。

7. 成本 / 性能 / SLO

7.1 训练场景的「SLO」口径

预训练没有在线时延 SLO，平台 SLA 通常转化为：I ①吞吐目标（tokens/s）；②显存上限（决定可用最便宜卡型）；③收敛里程碑（目标困惑度/下游分）；④ checkpoints 间的有效训练时间占比。论文对 ①② 提供实测数字（表 11、图 4），对 ③ 提供困惑度参照（表 2/3、图 6），对 ④ 未披露（检查点频率论文未明确披露）。

7.2 成本公式（参数化，编辑推断）

I 公式中由论文支撑的变量：单卡吞吐与显存（带完整条件，见 #experiments 表 E3）与 17%/8.8% 吞吐口径（第 9 页、表 11）。单价、卡型价差、网络与存储成本需按部署时数据填写，论文未披露、本页不给出伪精确数字。

7.3 敏感项排序（论文口径，条件互不可比）

P ①优化器状态：低秩投影 −65.5%（−9.6G，7B 估算口径 vs 8-bit Adam，第 9 页）；②总显存：−63.3% vs BF16 Adam / −52.3% vs 8-bit Adam（同上）；③优化器叠加：GaLore(rank 512) 在 8-bit Adam/Adafactor 之上再省至多 62.5%（1B、10K 步口径，第 8 页 §5.2）；④对 LoRA：预训练内存至多 −30%（表 1 推导口径，第 2 页）；⑤吞吐代价：−17%（vs 8-bit Adam，1B 实测口径）。I 五个数字分属不同模型/基线/估算口径，禁止横向相乘或相加；成本模型中最敏感的其实是 ②——它决定卡型单价档位。

7.4 数据缺口

• 端到端 TCO、云价格、电费：论文未披露，需部署时自测 I。
• 19.7B tokens 之外的长程收敛与更大模型的显存外推：论文未验证（7B 止步）P（第 8 页）+ I。
• 检查点大小/频率与恢复时间：论文未明确披露 I。
• 多租户干扰、抢占对 SVD 调度（每 T 步）的影响：论文未涉及 I。

8. 安全与可运维性

8.1 安全

• 训练数据合规：论文实验用 C4（Common Crawl 清洗语料）与 GLUE/SQuAD/OpenAssistant/Belle 公开数据集 P（第 7、22-23 页）。I 生产替换为自有语料前，需完成来源许可、个人信息与版权审查。
• 模型许可传导：论文脚注 3 明示「LLaMA materials in our paper are subject to LLaMA community license」P（第 7 页）。I 用 GaLore 预训练/微调 LLaMA 系模型时，产出物与部署同样落入 LLaMA 社区许可的义务范围，选型前过法务。
• 代码许可与供应链：官方仓库为 Apache-2.0 R（2026-09-15 核验）；I 依赖链含 PyTorch（逐层更新要求 ≥2.1）与 8-bit 优化器实现，镜像应 digest 锁定 + CVE 扫描；论文实验的 8-bit Adam 来自 Dettmers et al., 2022 的实现 P（第 6 页 §4.3）。
• 训练产物保护：I 检查点含全部权重与（低秩）优化器状态，等同模型资产核心机密；存储桶按项目隔离、静态加密、最小权限 + 审计（云存储侧能力，E）。

8.2 可运维性

• 数值稳定与损失尖峰：P 论文附录 C.1 指出 α 作为「分数学习率」（0.01×0.25=0.0025）仍属较大稳定学习率，而全秩基线通常用 ≤0.001 以避免训练损失尖峰（第 20 页）。I 运维上应把 loss spike 告警与 r/T/α 联动排查写进 runbook；官方称 GaLore 对超参不敏感、同一组超参跨模型尺寸可用（第 20 页）。
• 升级与回滚：I GaLore 在优化器层封装，回退路径天然是「换回 8-bit Adam/AdamW」——但优化器状态形状不同（低秩 vs 全秩），切换不能原地续训，需从权重检查点重启并重预热；该迁移成本论文未讨论，属工程评估项。版本升级走金丝雀：新 PyTorch/包版本先小规模收敛对照再全量。
• 监控告警：I 建议：tokens/s 相对基线跌幅（SVD 卡顿或逐层更新退化）、显存水位（22.0G 距 24GB 仅 ~2G 余量，激活增长即 OOM）、loss 发散、SVD 失败次数。论文口径参照：吞吐 1019.63 tokens/s（1B，表 11）。
• 验收基线：P 收敛形态可对照图 6 训练进程曲线（130M–7B，C4）P（第 21 页）；I 验收时锁定 commit 与包版本，记录 r/T/α 与数据配比，避免「复现不出来」。
• 功能边界随仓库演进：R 仓库当前 README 已含论文之外的动态（Q-GaLore INT4 投影 2024-07-11、GaLore 2 研制中 2024-09-01、ICML 2024 Oral 公告 2024-07-01；2026-09-15 核验）。I 评估以「pin 的那个 commit」实测为准，不按 README 最新文案外推。

9. 适用 / 不适用场景

适用（触发条件 + 理由）

1. 显存受限的 LLaMA 类预训练：单卡 24GB 想训 ≤7B，或多卡但买不起大显存卡型。触发：OOM 而非算力不足是主要矛盾；能接受 Adam 族优化器与 BF16。理由：8-bit GaLore 实测 22.0G 完成 7B 预训练配置（token batch ≤500），在 24GB 容量内 P（第 8 页 §5.5）。
2. LoRA 预训练/微调不达标的场景。触发：LoRA 精度损失不可接受（1B 预训练 LoRA 困惑度 19.21 vs GaLore 15.64；GLUE rank=4：85.61 vs 85.89），又想保留低显存。理由：GaLore 保持全参数学习且内存账优于 LoRA（表 1）P（第 7、9 页、第 6 页）。
3. 全参微调的显存压缩（RoBERTa/BERT 及 LLM 指令微调）。触发：全参微调质量必需、但优化器状态放不下。理由：GLUE 上 253M vs 全参 747M 内存、平均分 85.89 vs 86.28；SQuAD/OpenAssistant/Belle 亦 Comparable P（第 9、22-23 页）。
4. 已有 AdamW/8-bit Adam 技术栈的增量改造。触发：不想换训练框架。理由：优化器级即插即用（算法 1「两行代码」），图 3 验证三类优化器兼容 P（第 1、6、7 页）+ R（官方 pip 包 galore-torch，2026-09-15 核验）。
5. 消费级/异构算力池的弹性训练探索。触发：低带宽互联的小显存集群。理由：论文把「消费级硬件弹性数据分布训练」列为可行方向（非已完成验证）P（第 9 页 §7）+ I。

不适用（触发条件 + 理由）

1. 吞吐优先的生产级大集群预训练。触发：GPU 预算充足、追求单位时间 token 最大化。理由：当前实现有 17% 吞吐开销且作者明言实现优化留作未来工作 P（第 9 页 §5.5）。
2. 超大模型（≫7B）的显存救急预期。触发：想当然把 63.3% 外推到数十亿～千亿参数。理由：论文最大验证点为 7B/19.7B tokens，更大规模无证据 P（第 8 页）+ I。
3. 非 Adam 族优化器为主的技术栈。触发：主力优化器不维护逐元素梯度统计。理由：GaLore 的收益来自压缩 M/V 类状态；论文实验全部为 Adam/Adafactor 族，其他优化器未验证 P（第 6-7 页）+ I。
4. 期望「原地切换」的存量作业。触发：训练中途想从普通 Adam 换成 GaLore（或反向）省显存。理由：优化器状态形状不同，切换需从权重检查点重启 I（论文未讨论迁移）。
5. 推理/服务场景。触发：拿它做在线 serving 优化。理由：GaLore 是训练策略，不含推理时改进 P（全文范畴）。

10. 实验与指标

10.1 实验设置与口径 P（第 7-8 页 §5、第 20 页 C.1）

10.2 论文实验结果（全量转录，条件逐表完整）

表 E1＝论文表 2：LLaMA 预训练验证困惑度（C4；括号为参数+优化器状态 BF16 内存估算）P（第 7 页）

论文要点：GaLore 与全秩基本持平且优于其他低秩方法；1B 上 r=1024 时甚至反超全秩基线（正文 §5.1）。I 注意：表 2 的 tokens 行（1.1B/2.2B/6.4B/13.1B）与附录表 5 的数据量（1.3B/2.6B/7.8B/13.1B，= 步数 10K/20K/60K/100K × 131K tokens/步）不一致，两处均照录、未作调和。

表 E2＝论文表 3：LLaMA 7B 预训练（150K 步，8-bit GaLore r=1024 vs 8-bit Adam，单次试验）P（第 7 页）

论文要点：150K 步处 8-bit GaLore 14.65 vs 8-bit Adam 14.61——「comparable」（论文原词）；显存估算 18G vs 26G。I 末点困惑度 GaLore 略高 0.04，且为单次试验未调参，引用时两个限定都要带上。

表 E3＝论文表 11：LLaMA 1B 显存与吞吐实测（C4、token batch 256、单设备）P（第 23 页）

论文要点（§5.5 口径）：当前实现 1019.63 tokens/s，较 8-bit Adam 开销 17%；关闭逐层更新得 1109.38（+8.8%）。I 编辑换算注：按表 11 原始数（1019.63 vs 同组 8-bit Adam 1205.31）直接计算为 −15.4%；论文未写明 17% 的对照行，引用时注明口径。

表 E4＝论文表 4：GLUE 微调（RoBERTa-Base；报告各任务平均分）P（第 9 页）

论文要点：rank=4 时 GaLore 85.89 > LoRA 85.61（第 2 页 §1 引言引用的正是这一对）；rank=8 时 85.94 vs 85.93 基本持平；两者均与全参微调 86.28 有约 0.3-0.4 差距、显存约 1/3。I 第 2 页 §1 引言只引用了 GaLore 占优的 rank=4 对比，rank=8 的持平事实在第 9 页表 4 中，引用时应一并给出。

附录补充实验 P（第 22-23 页 D 节）

• SQuAD（BERT-Base，rank 16，表 8）：Exact Match/F1：基线 80.83/88.41；GaLore 80.52/88.29；LoRA 77.99/86.11——GaLore 两项均优于 LoRA。
• OpenAssistant（表 9，测试困惑度，rank 128）：Gemma-2b：基线 4.53 / GaLore 4.51 / LoRA 4.56；Phi-2：3.81 / 3.83 / 4.24；LLaMA-7B：2.98 / 2.95 / 2.94。
• Belle-1M（表 10，测试困惑度，rank 128）：Gemma-2b：5.44 / 5.35 / 5.37；Phi-2：2.66 / 2.62 / 2.75；LLaMA-7B：2.27 / 2.28 / 2.30。
• 内存估算附录（表 6）：1B 全参：权重 2.60G + 优化器状态 5.20G；GaLore：2.60G + 1.78G；LoRA/ReLoRA：3.79G + 2.38G——与表 2 合计一致。

消融 P（第 9 页 §6、图 5；第 21 页图 6）

• 子空间频率（图 5 左，130M）：过频与过疏都损害收敛；小 r 应更频繁切换。
• 秩与步数（图 5 右）：rank 128 @ 80K 步的损失低于 rank 512 @ 20K 步——显存受限时「小秩多步」可行。
• 训练进程（图 6）：GaLore 全程贴近全秩轨迹，训练初期甚至略快；7B 图与表 3 数字一致。

10.3 建议复现步骤（编辑推断）

1. I 锁定官方仓库 commit、galore-torch 版本与 PyTorch ≥2.1（逐层更新依赖 register_post_accumulate_grad_hook），容器 digest 固定。R（README，2026-09-15 核验）
2. I 从 130M 起步复现表 2 行（r=256、T=200、α=0.25、lr 0.01、C4、seq 256、131K tokens/步、20K 步），核对困惑度 25.36 与显存数量级。
3. I 表 11 口径做单卡 1B 冒烟：token batch 256，开/关逐层更新各测一次显存与吞吐，对照 5.63G/7.95G 与 1019.63/1109.38。
4. I 微调路线：RoBERTa-Base GLUE rank=4（α=4、30 epochs），对照表 4 的 85.89；训练前先过 LLaMA/数据许可。
5. I 再上 7B：预期需要多卡数据并行补吞吐；以 18G（估算）/22.0G（实测）做显存预算，并保留 8-bit Adam 回退路径。

11. 论文 / 代码 / 延伸链接

12. 给架构师的决策清单

I 以下为落地前的勾选项；标注（P）的条目对应论文证据，（R）对应仓库核验，其余为工程判断。

• 需求与规模
  • 明确模型规模是否落在论文验证区间（60M–7B、C4 类语料、≤19.7B tokens），超出部分按未验证处理（P：第 7-8 页）
  • 确认主要矛盾是显存（OOM）而非吞吐——GaLore 用 17% 吞吐换显存门槛（P：第 9 页；I：判断标准）
  • 估出 token 预算与期望完成日期，按 §7.2 公式反推所需吞吐与卡数（I）
• 兼容性
  • 优化器栈为 AdamW / 8-bit Adam / Adafactor 之一（论文验证范围）（P：第 6-7 页）
  • PyTorch ≥2.1（逐层更新依赖 register_post_accumulate_grad_hook）与 galore-torch 安装路径已验证（R：README 核验 2026-09-15）
  • 模型许可核查：LLaMA 系产出受 LLaMA community license 约束（P：第 7 页脚注 3；I：合规动作）
  • 明确「8-bit GaLore」命名含义＝GaLore + 8-bit Adam，避免误读为投影矩阵 8bit 化（P：第 8 页 §5.2）
• PoC（1-2 周量级）
  • 130M 复现表 2 行（r=256、T=200、α=0.25、lr 0.01、C4、seq 256、20K 步），困惑度与 25.36 同数量级（P：第 7、20 页；I：验收阈值自定）
  • 1B 单卡冒烟对照表 11：开/关逐层更新的显存与吞吐四象限（P：第 23 页；I：口径）
  • 损失尖峰演练：α=0.25 的等效学习率 0.0025 下观察 spike 频率，必要时降 lr（P：第 20 页 C.1；I：处置）
• 容量与拓扑
  • 显存预算按实测口径：7B 约 22.0G（token batch ≤500）+ 激活余量；开激活检查点可换 batch 至 4096（P：第 8 页 §5.5）
  • 小 batch 效率评估：单卡 batch ≤500 时算力利用率损失，需要多少数据并行补齐目标吞吐（P：batch 数字；I：评估方法）
  • 「1×大显存」vs「N×24GB + GaLore」同 token 成本比价，含 17% 吞吐系数（P：吞吐口径；I：比价模型）
• SLO 与验收
  • 定义收敛里程碑：困惑度目标对照表 2/3（如 7B@150K 步 ≈14.6 量级）与图 6 曲线形态（P：第 7、21 页）
  • 定义吞吐 SLO 与度量口径（表 11 的 tokens/s 条件：1B、batch 256、逐层更新开）（P：第 23 页）
  • 明确 7B 结论的「单次试验、未调参」限定写入内部评审材料（P：第 8 页 §5.3）
• 成本
  • 按 §7.2 公式以「当时单价 + 查询日期」估算；不使用本页数字直接报价（I）
  • 把 65.5%/63.3%/62.5%/30% 各自的条件标注进成本模型，禁止跨口径相乘（P：数字；I：口径纪律）
  • 评估竞价/抢占实例 + 检查点续跑（检查点频率论文未披露，需自定）（I）
• 安全
  • 训练语料许可/隐私/版权审查（论文用 C4 等公开集仅为实验口径）（P：第 7 页；I：合规要求）
  • 检查点桶按项目隔离、静态加密、最小权限 + 审计（E/I）
  • 镜像 digest 锁定 + CVE 扫描；依赖（PyTorch/8-bit 优化器实现）版本 pin（R：README；I：供应链）
• 运维与回滚
  • runbook 纳入：loss spike 排查顺序（lr/α→r→T）、SVD 失败计数、显存水位告警（I）
  • 回滚预案：切回 8-bit Adam/AdamW 时从权重检查点重启（优化器状态形状不兼容，不可原地切换）（I）
  • 升级走金丝雀：新版本先小规模收敛对照再全量；评估以 pin 的 commit 实测为准（I；R：仓库动态 2026-09-15 核验）
• 退出策略
  • 迁出面评估：GaLore 检查点仅优化器状态为低秩形态，权重可被任意框架读取；迁移成本主要是重预热（I，机制 P：第 6 页）
  • 归档超参（r/T/α）、包版本、commit 与容量档案，保证可重建（I）
  • 预设备选替代：8-bit Adam + 激活检查点、LoRA/ReLoRA、卸载类方案的最小切换面（I）

13. 证据台账

下表为核心结论的证据映射；逐条引文与在线核验记录见构建文件 sources/galore.evidence.json。核验日期均为 2026-09-15。