QuaRot：用随机 Hadamard 旋转消除离群，权重 / 激活 / KV 缓存全 4bit 的端到端推理

1. 摘要与一句话判断

3 分钟速读

1. 问题：推理的 prefill 阶段 compute-bound，联合量化（权重 + 激活 + KV）才能同时省计算与显存；但激活含大量离群元素、比权重难量化得多（第 1 页，图 1 第 2 页）P。此前的 4bit 方案都要「养」高精度离群通道：QUIK 保留 256 个离群特征、down-proj 留 8bit，Atom 保留 128 个并配混合精度内核（第 2-3、8 页）P。
2. 关键观察：对隐藏状态乘一个随机 Hadamard 正交矩阵，离群被「摊平」到所有通道（图 1：LLAMA2-7B 第 10 层 FFN 输入，旋转前 ±0.4 级尖峰、旋转后无离群）P；由计算不变性（SliceGPT 定理），权重侧的旋转可被输出侧的逆旋转精确抵消——RMSNorm 按范数归一、对旋转不敏感（第 4 页式 3）P。
3. 两阶段：Stage 1 离线（全精度、输出不变）：融合 RMSNorm 缩放与全局旋转进权重、FFN down-proj 前插一次在线 Hadamard、value/out 投影融合 head-wise Hadamard、query/key 在 RoPE 后做在线 head-wise 旋转（Post-RoPE 缓存）；Stage 2 在线量化（唯一误差来源）：权重默认 GPTQ、激活对称 per-token RTN（clip 0.9）、KV 非对称分组量化（组 128、clip 0.95）（第 4-7 页）P。
4. 精度：4bit（W4A4KV4）LLAMA2-70B：PPL 3.32→3.79（损 0.47）、零样本均值 77.07→75.98（保留 99%）；7B/13B 损 0.63/0.52、平均分损至多 4.18%；6/8bit 用纯 RTN 免校准即「无损」（INT8 完全保持 FP16）（第 1、7-9 页表 1-3）P。
5. 性能与边界：RTX 3090 单 Transformer 块：prefill（TTFT）加速 7B 1.97×~2.16×、70B 至多 3.33×（序列 2048，batch 64，图 4 左）；解码峰值显存至多 3.89×（batch 16，图 4 右）；4bit 线性层内核 3.2×/4.3×（batch 1，Hadamard 在内），Hadamard 开销至多约 7%；但 batch≤8 时 INT4 KV 解码比 FP16 慢（表 15），LLAMA-3 8B 4bit PPL 6.14→8.16（表 11）P；整模型端到端吞吐、TTFT/TPOT 绝对值：论文未明确披露I（口径核对）。

2. 问题背景

瓶颈与动机：LLM 推理消耗大量计算、显存与能耗，尤其 prefill 阶段要处理长 prompt 并逐层写入缓存；prefill 已知是 compute-bound（引 Ashkboos et al., 2023），因此联合量化——降参数与 KV 缓存（省显存）的同时也降输入（激活）精度、让前向本身跑在低位宽——才有意义（第 1 页）P。

核心障碍＝激活离群：激活中有少数维度幅值远大于其余元素（图 1：LLAMA2-7B 第 10 层 FFN 块输入，HuggingFace 默认权重下纵轴可见 ±0.4 级尖峰），使激活量化远难于权重量化，4bit 下尤其如此（第 1-2 页）P。keys 中同样存在离群（引 KVQuant、KIVI，第 6 页）P。

既有路线及其代价：P（第 2-3 页）①weight-only 量化（GPTQ 等）：权重低位宽存储、计算前反量化，主计算仍是高精度，不降计算量；②保守离群通道：LLM.int8() 推理时把离群特征留 16bit（性能差）；SmoothQuant 用校准集缩放因子、只解决 8bit 且引入额外超参；4bit 下 Atom 为离群存在设计复杂混合精度 MatMul 内核、保留 128 个离群特征，QUIK 保留 256 个、把 down-projection 留 8bit；③旋转思路：QuIP/QuIP# 已把旋转（incoherence processing）用于 weight-only 量化，但每个权重矩阵的 forward 需要两次 Hadamard 变换；④KV 量化线：FlexGen（Sheng et al., 2023）4bit 分组 KV、KVQuant 3bit、KIVI 2bit，均需特征维分组、非均匀表示、高精度离群等复杂技巧处理 key 离群。

目标工作负载与约束：端到端 4bit（权重 + 激活 + KV 缓存）且不留任何高精度通道；方法面向消费级 GPU——全部性能实验在 RTX 3090 上做（第 1 页摘要、第 7-8 页）P。

基线口径：精度基线为同模型 FP16；性能基线为 FP16 实现（prefill 加速、解码峰值显存均相对 FP16）（第 7-9 页）P。I 因此论文数字回答的是「QuaRot 比 FP16 强多少 / 损多少」，不回答「与 KIVI/QServe 等其他方案比谁优」——本页不做跨论文数字比较。

3. 核心机制

3.1 数学原语：Hadamard 旋转与 incoherence processing

正交矩阵 Q 满足 QQ⊤=I；Hadamard 矩阵是元素取 {+1,−1} 的正交矩阵；Walsh-Hadamard 矩阵按 H₂ = (1/√2)·[[1,1],[1,−1]]、H_{2ⁿ}=H₂⊗H_{2ⁿ⁻¹} 递归构造（式 1），其矩阵-向量积用快速 Walsh-Hadamard 变换在 O(d log₂(d)) 完成P（第 3 页；提取文件的 log 下标 2 脱落，已按原页核正）。d 不是 2 的幂时，分解 d=2ⁿ·m（m 取已知 Hadamard 阶，Sloane [2024] 列表）用 Kronecker 构造 H_d=H_{2ⁿ}⊗H_m，计算代价 O(d(m+n))P。随机 Hadamard 取 H̃=H·diag(s)（s 为 {+1,−1} 随机向量），仍是正交矩阵P。

「μ-incoherent」指 max(W) ≤ μ‖W‖_F/√(mn)（式 2）——最大元素相对平均幅值过大即难量化；QuIP（Chee et al., 2024）证明左右乘正交矩阵可降 incoherence。QuaRot 采纳该技术但前向加的算子更少，且把 incoherence processing 同时施加到激活上（图 1）P（第 3 页）。

3.2 计算不变性：为什么旋转是「免费」的

计算不变性定理（SliceGPT [Ashkboos et al., 2024] Theorem 1）：变换器的权重与块间激活可同时用正交矩阵变换而不改变模型输出——块内左侧输入权重左乘 Q、同块输出权重右乘 Q⊤ 即可抵消P（第 4 页）。它在 RMSNorm 处也成立，因为 RMSNorm 按范数归一化、旋转不改变范数，满足交换律：

3.3 Stage 1（离线、全精度、输出不变）：四步改造

QuaRot 分两阶段；第一阶段以全精度操纵权重并向 forward 插入两个额外 Hadamard 操作P（第 4 页）：

• Stage 1a 权重修改：先把 LayerNorm/RMSNorm 的线性部分融进相邻权重（吸收 diag(α)）；选与隐藏维同阶的随机 Hadamard Q，块内左侧权重左乘（如 W_k ← Q⊤·diag(α)·W_k，式 4），块输出侧权重右乘 Q；块间激活随之变为 X←XQ。该修改在全精度假设下不改变模型输出P（第 4-5 页、图 3）。
• Stage 1b FFN：在 down-projection 前插入一次全精度在线 Hadamard（按 QuIP# 的快速 kernel 实现），并通过把 H 融进 down-proj 权重被隐式抵消：W_down ← H·W_down，与全局 Q 合并后为 W_down ← H·W_down·QP（第 5 页）。
• Stage 1c 注意力 value 侧：注意力输出 Y=concat[(P₁V₁)…(P_{n_h}V_{n_h})]·W_out（式 5-6）暴露 W_v 与 W_out 的头内耦合：对每头做 W_v⁽ʰ⁾←W_v⁽ʰ⁾H_{d_h}、W_out⁽ʰ⁾←H_{d_h}W_out⁽ʰ⁾（式 7），等价 Kronecker 形式 W_v←W_v(I⊗H_{d_h})、W_out←(I⊗H_{d_h})W_out（式 8）；再用恒等式 H_{n_h×d_h}=(I⊗H_{d_h})(H_{n_h}⊗I)（式 9，头数与头维均为 2 的幂时成立）补上跨头部分：插入 Hadamard heads 块 Z←Z(H_{n_h}⊗I)（reshape + Walsh-Hadamard 高效计算），并把 W_out 完整变为 W_out←H·W_outP（第 5-6 页）。
• Stage 1d key 旋转：keys 也有离群（引 KVQuant、KIVI）；注意力分数 P_h=Softmax(α·Pos(Q_h)·Pos(K_h⊤)⊙M)（式 10-12），RoPE 的 Pos 直接作用在 Q/K 上、使 Hadamard 无法直接融进 W_q/W_k，故对查询与键做在线 head-wise 旋转：Q←Pos(XW_q)(I⊗H_{d_h})、K←Pos(XW_k)(I⊗H_{d_h})（式 13-14）——Q、K 同旋使注意力分数不变P（第 6 页）。相比 KVQuant 式 Pre-RoPE Caching（缓存 RoPE 前的 keys：需在线逆旋转、且每个 query 都要旋转全部 keys/values），QuaRot 选 Post-RoPE caching——量化发生在 RoPE 之后，解码每步只对单个 token 施加 HadamardP（第 6、13 页 A.1）。
• 在线开销口径：QuIP# 类方法每个权重矩阵需两次 Hadamard；QuaRot 每 transformer 层只需 1½ 次P（第 3 页 §2、第 15 页 A.5；注：quarot.txt 提取把 1½ 误作 11，已按 PDF 原页更正）。

3.4 Stage 2（在线量化＝唯一误差来源）：三步

• Stage 2a 权重量化：默认对全网权重应用 GPTQ；旋转后的网络上任何量化方法都可用，简单 RTN 也可替代、代价是一些精度P（第 6 页）。
• Stage 2b 激活量化：RMSNorm（去缩放后）保持 FP32 计算；线性层输入用对称 per-token（按输入矩阵的行）量化：行缩放 = 行最大绝对值 ÷ 7（INT4 最大可表示数），行除以缩放后 round-to-nearest；反量化把 GEMM 的 INT32 输出 cast 成 FP16，再乘行缩放（来自激活）×列缩放（来自权重）P（第 7 页）。
• Stage 2c 量化注意力：注意力在长序列/大 batch 下显著 memory-bound；旋转 keys/values 后缓存可低位宽量化、减少 IO；查询保持 FP16，softmax 用类 FlashAttention 的在线计算；KV 向量逐段从显存载入后反量化、以 FP16 计算点积P（第 7 页）。

3.5 精度口径速查：什么在 INT4，什么不在

4. GPU/系统数据路径

端到端文字序列（与图中编号一致）

1. ① 残差流输入：块间激活已被全局旋转 X←XQ（离线融合进上一层输出权重）；全精度下输出不变，且离群已被摊平（图 1：旋转后 FFN 输入无离群）P（第 4-5 页、第 2 页图 1）。
2. ② RMSNorm → 量化门：RMSNorm（去缩放）以 FP32 计算；其输出在进入每个线性层前做对称 per-token INT4 量化（行缩放=max|·|/7，裁剪比 0.9）P（第 7 页 Stage 2b）。
3. ③ 注意力分支：W_q/W_k/W_v 均为融合后的 INT4 权重（Q⊤(α)W_*），投影输出 FP16——query 经 RoPE 后做在线 head-wise Hadamard、保持 FP16；key 经 RoPE 后同样旋转、再量化为 INT4 写入 KV 缓存（非对称、组 128、裁剪 0.95）；value 在投影端已含 head-wise Hadamard、量化为 INT4 写入缓存；注意力计算保持 FP16（在线 softmax，KV 逐段载入反量化后做 FP16 点积）；输出经 Hadamard heads（H_{n_h}⊗I）跨头旋转、量化 INT4，经 H·W_out·Q 得到 FP16 输出 Y_QP（第 5-7 页、第 13 页图 6）。
4. ④ FFN 分支：W_gate/W_up 为融合后的 INT4 权重，σ(gate)⊙up 输出 FP16；随后一次 FP32 在线 Hadamard、量化 INT4，经 H·W_down·Q 得到 FP16 输出 Y_QP（第 5 页 Stage 1b、第 7 页、图 3）。
5. ⑤ 线性层精度链：INT4 权重×INT4 激活在 TensorCore 上计算、INT32 累加，随即 cast 回 FP16 并乘激活行缩放 × 权重列缩放——量化误差只发生在取整/裁剪处P（第 5 页图 3 注、第 7-8 页 §5.2）。
6. 循环：Y_Q 汇回残差流进入下一层；每层在线 Hadamard 合计约 1½ 次全尺寸当量；解码期 KV 的写入/读取由 Init/Append/Decode 三例程承担（prefill 注意力直接用 FlashAttention，解码用量化版 flash attention 读 INT4 缓存）P（第 3、17 页）。

5. 架构权衡

• 离群消除 ↔ 在线 Hadamard 开销与内核依赖

  P 旋转把 4bit 的离群障碍挪走（图 1），代价是每层约 1½ 次在线 Hadamard 与新内核：CUTLASS INT4 GEMM + FlashInfer KV 量化。Hadamard 对 W_down 线性层至多加约 7% 开销（batch 1、序列 2048，图 7）P。I W4A4 依赖 INT4 TensorCore 支持与自研内核栈，这是采用 QuaRot 的真实集成成本。

• 全 4bit 覆盖 ↔ 4bit 精度损失与模型敏感性

  P 无高精度通道换来 LLAMA2-70B PPL +0.47、零样本 -1.09%；但 7B 损 0.63 / 平均分 -4.18%；LLAMA-3 更敏感（8B PPL 6.14→8.16，70B 2.86→6.66）（第 7-9、16-17 页表 1/2/11/12）P。I 「全 4bit」是模型家族相关的精度决策，不是无条件的默认。

• GPTQ 质量 ↔ 校准成本与免校准档位

  P GPTQ 默认（70B：修改 5 分钟 + 量化 2 小时，单卡 A100）；RTN 免校准免超参，6/8bit 无损、INT8 完全保持 FP16，但 4bit 下 RTN 比 GPTQ 差 2.27（7B）→0.34（70B）PPL（第 7、9 页表 3）P。I 大模型可用 RTN 快速落地；小模型想上 4bit 基本必须走校准。

• 显存节省 ↔ 小 batch 解码变慢

  P 解码峰值显存至多 3.89×（单块、batch 16）；但 4bit KV 的收益在降 IO——batch≤8 时 INT4 缓存解码比 FP16 慢（32×128 头配置 batch 1：FP16 0.713ms vs INT4 1.033ms），batch 16 起才反超、论文口径至多 1.72×（第 8、18、20 页表 15）P。I KV 量化档位应按 batch/序列区间选择，不能默认开启。

• 单块实测 ↔ 整模型外推

  P 3.33×/3.89× 均为单 Transformer 块实测（整模型大 batch 放不进其集群）；论文预期整模型数值会更大（层数增加后常量大小对象影响变小）但未测（第 8-9 页）P。I 引用这两个数字必须带「单块」限定；整模型端到端吞吐与 TTFT/TPOT 绝对值论文未披露。

• KV 3bit 近免费 ↔ 2bit 不可行

  P 旋转后的 KV 缓存到 3bit 困惑度退化至多 0.21（70B 至多 0.07）；keys 比 values 敏感（K4/V3 仅 +0.03、K3/V4 +0.18，7B）；K2/V2 则崩到 9.23（7B）（第 14 页表 6）P。I KV 档位的甜点在 3-4bit；把 QuaRot 与 KIVI 的 2bit KV 直接类比是误用（两者离群处理机制不同，且本站不做跨论文比较）。

• 数学变换免费 ↔ 制品不可逆

  P Stage 1 在全精度下输出不变，但它把权重矩阵永久变成了「旋转系」制品（W←Q⊤diag(α)W 等）；随机正交矩阵不如随机 Hadamard（7B 差 1.35 PPL，表 8）P（第 4-5、15 页）I 旋转种子、量化方法与校准集构成都是制品的「基因」，必须与制品一起版本化管理，回退对象是原始 FP16 checkpoint 而非「关个开关」。

6. 云上部署映射

以下映射为厂商中立示例；具体产品命名/规格仅作说明并标 E，以厂商当时目录为准，未逐一在线核验。论文事实单独标注 P。

7. 成本 / 性能 / SLO

7.1 指标口径（论文使用的）

P（第 7-9、18-21 页）精度：WikiText-2 困惑度（序列 2048）与 LM Evaluation Harness 六项零样本均值（默认参数）；效率：单 Transformer 块的 TTFT prefill 加速倍数（相对 FP16，序列 2048 × batch 扫描）、解码单 token 峰值显存（GB 与节省倍数）、4bit 线性层/解码例程的毫秒级运行时（100/1000 次平均）。TTFT/TPOT 绝对值、整模型端到端吞吐、能耗：论文未明确披露。

7.2 容量与成本公式（参数化，编辑推断）

I 公式中可由论文支撑的量：解码峰值显存节省至多 3.89×（单块、batch 16，表 17）；prefill 加速 1.97×~3.33×（单块、序列 2048，图 4 左/表 16）；INT8 无损、6bit 近无损（表 3/9）。其余（云单价、整模型吞吐、激活峰值、回退余量、请求长度分布）需按部署实测与当时目录填写，本页不给出伪精确数字。I 注意表 17 的分母是「单块」显存（7B 基线 0.39~1.42GB、70B 1.6~1.9GB），不含整模型其余层——不能直接乘层数外推整卡占用。

7.3 性能数字上下文速查（RTX 3090 · 单 Transformer 块）

7.4 敏感项与数据缺口

• P 敏感项排序（各自条件下）：模型家族（LLAMA-3 掉点约为 LLAMA-2 两倍以上，表 11/12）＞ 权重量化方法（4bit 下 RTN 比 GPTQ 差 2.27→0.34 PPL，表 3）＞ 位宽（8bit 无损、6bit 近无损、4bit 有感，表 3/9）＞ KV 位宽组合（≤3bit 近免费；keys 比 values 敏感，表 6）＞ 权重组大小（256→64 单调变好、更费缩放存储，表 4）。
• P 数据缺口：TTFT/TPOT 绝对值、整模型端到端吞吐、能耗、精度评测 GPU 型号、KV 缩放因子存储精度、不同上下文长度的完整吞吐曲线——论文未明确披露。
• I 云价格、内核集成一次性工程成本、旋转制品的存储成本：论文未涉及，部署时自测并记录查询日期。

8. 安全与可运维性

8.1 安全

• 量化数据仍是用户数据：I QuaRot 不改变 KV 缓存的语义——它仍完整保留全部输入 token（只是精度降为 INT4 组 128），量化不是加密。多租户实例复用前必须重置/清零 KV 显存，显存 dump 即数据泄露（通用推理服务要求）。
• 制品完整性与来源：P 服务用的权重是「旋转 + 量化」后的新制品（W←Q⊤diag(α)W 等），旋转依赖随机向量 s、量化依赖校准集（128 条 WikiText-2）与裁剪比/组大小（第 4-7 页）I 制品必须记录配方元数据并签名；种子/配方不可追溯的制品不应上线。
• 供应链：R 代码来自摘要印明的 github.com/spcl/QuaRot（2026-09-15 在线核验：SPCL/ETH Zurich、Apache-2.0、HEAD 5008669b、2024-11-26 后无新 push、无 tag）；内核依赖 CUTLASS（论文参考文献印明）与 FlashInfer（同）I 引入时 pin commit/镜像 digest、扫描 CUDA 内核与依赖、保留可回退版本；仓库一年无 push，视同「冻结的研究代码」，安全补丁需自行跟进。
• 输出分布变化：P 4bit 量化改变输出分布（零样本均值 -1.09%~-4.18%，表 2）I 合规审查应以「QuaRot 量化后制品的实际输出」为对象，不能沿用 FP16 模型的评估结论；6/8bit 档位损失在噪声级（表 3），对合规敏感业务可作折中。

8.2 可运维性（含恢复与回滚）

• 回退路径＝原始 FP16 checkpoint：I 旋转不可逆地改写了权重矩阵，「关闭量化」不是运行时开关——回退必须重新部署原始 FP16 权重（显存占用随之上升，需预留余量或联动降载）。FP16 原始 checkpoint 必须与量化制品同生命周期保存。
• 配置变更管理：P 量化配方（方法/位宽/组大小/裁剪比/校准集）直接决定精度（表 3/4/5/6）I 把配方作为与制品绑定的配置资产管理，变更走灰度 + PPL/零样本回归；禁用未回归过的组合。
• 故障恢复：I 推理服务无训练态，故障恢复＝实例重启 + 制品重载；KV 缓存不持久化、丢失即重算（prefill 重放）。多实例无状态水平扩展，单实例故障由负载均衡摘除（云编排能力，E）。
• 监控告警：I 建议：①TTFT 相对双基线的漂移（内核或批处理异常先在这里显形）；②峰值显存水位（量化失效/回退会先表现为显存回升）；③PPL/零样本抽样分数（配方错误直接掉点）；④INT4 KV 解码时延按 batch 分桶观察（batch≤8 区间应预期更慢而非告警）。
• 升级与回滚：I 内核（CUTLASS/FlashInfer）与框架/驱动版本配对 pin；基础模型升级必须重新走「旋转 → 量化 → 回归」全流程（旧配方对新模型无效，LLAMA-3 即反例）；升级走金丝雀 + 双基线回归（FP16 vs 量化各测一组）。
• 验收基线：I 上线前固定「FP16 vs QuaRot」两组读数：prefill 时延（目标 batch/序列）、解码显存、PPL/零样本抽测，形成可复核差值；此后任何变更以差值回归验收。

9. 适用 / 不适用场景

适用（触发条件 + 理由）

1. prefill/算力受限、追求 W4A4 全 INT4 的推理服务。触发：长输入、大 batch、prefill 时延或 GPU 租金为主要成本，且硬件支持 INT4 TensorCore。理由：无高精度通道的 4bit 前向，单块 prefill 加速 1.97×~3.33×（序列 2048，batch 随模型 1.97×/3.33× 封顶），加速随 batch 增大 P（第 8 页图 4 左、第 20 页表 16）。
2. KV/显存受限的长上下文批量服务（大 batch）。触发：解码期 KV 显存触顶、想换更大 batch 或更长上下文。理由：解码峰值显存至多 3.89×（单块、batch 16、解码 50 token）；KV 到 3bit 近免费、4bit 几乎无损（退化 ≤0.21）P（第 8、14、21 页）。
3. 手握 RTX 3090/4090 类消费级 GPU 池、想在单卡/少卡上跑 70B 级模型的团队。触发：硬件以消费级为主、无力上 A100/H100 集群。理由：论文明确定位消费级 GPU 并在 RTX 3090 上完成全部性能实验 P（第 7-8 页）。
4. 想要免校准、近无损省显存的快速落地（6/8bit 档）。触发：不想跑 GPTQ 校准、只求把权重/激活/KV 降到 6 或 8bit。理由：RTN 6/8bit 免校准免超参，INT8 完全保持 FP16、6bit 近无损（如 70B INT6 均值 77.21 vs FP16 77.07）P（第 9、16 页表 3/9）。

不适用（触发条件 + 理由）

1. 小 batch（≤8）、单请求延迟敏感的解码场景。触发：交互式单并发/低并发生成，TPOT 是首要 SLO。理由：4bit KV 收益在降 IO，batch≤8 时 INT4 缓存解码比 FP16 慢（7B 头配置 batch 1：0.713ms vs 1.033ms），batch 16 起才反超 P（第 18、20 页表 15）；I 期望「INT4 一定更快」属于误读收益对象。
2. LLAMA-3 等对量化敏感的模型追求 4bit。触发：目标模型不在 LLAMA-2 系或实测掉点超阈值。理由：LLAMA-3 8B 4bit PPL 6.14→8.16、零样本均值 73.22→65.18（70B 79.94→69.21），明显差于 LLAMA-2 同规格 P（第 16-17 页表 11/12）。
3. 无 INT4 TensorCore、或无法集成自定义 CUDA 内核的运行环境。触发：老 GPU、非 NVIDIA 栈、或托管平台不允许注入 CUTLASS/FlashInfer 自定义内核。理由：QuaRot 的 W4A4 前向完全建立在其自研 CUTLASS INT4 GEMM 与 FlashInfer KV 内核上（CUDA/12.1 + PyTorch）P（第 7-8 页）；I 缺内核栈时只剩仿真量化，无性能收益。
4. 要求输出与 FP16 逐 bit 一致的合规/审计场景。触发：输出可复现性被硬性要求。理由：4bit 量化改变输出分布（零样本 -1.09%~-4.18%）；即便 INT8 RTN「精度无损」也是统计口径，非逐 bit 一致 P（第 7-9 页）＋I（口径判断）。

10. 实验与指标

10.1 实验设置与口径 P（第 7 页）

10.2 主精度结果（表 1 / 表 2 全量转录）

P 论文口径：QuaRot 以至多 0.63 困惑度损失（70B 为 0.47）优于全部先前工作，无需重训练、无需高精度离群通道；对 Atom 同分组数：7B 好 0.1、13B 持平；零样本平均分损失至多 4.18%（70B 为 1.09%）（第 7-8 页）。

10.3 性能结果（RTX 3090 · 单 Transformer 块）

10.4 消融与其他证据

10.5 建议复现步骤（编辑推断）

1. R／I 从官方仓库取代码（已核验 spcl/QuaRot，pin HEAD 5008669b 或后续 commit）；确认 CUTLASS、FlashInfer、PyTorch/CUDA 12.1 版本组合可构建。
2. I 精度复测：LLAMA2-7B/70B 先行——按论文配方旋转（Stage 1）+ GPTQ 量化（128 条 WikiText-2、序列 2048、裁剪比 0.9/0.95、权重组 128），对齐 WikiText-2 PPL 与 LM Harness 六任务默认参数，对照表 1/2（如 70B：3.79/75.98）。
3. I RTN 档位复测：同流程换 RTN（免校准），对照表 3（INT8 应完全追平 FP16；4bit 差距随模型规模缩小）。
4. I 性能复测：单卡 RTX 3090、单 Transformer 块——prefill TTFT（序列 2048、batch 1~64）、解码峰值显存（batch 16、KV 256~4096）、W_down 线性层与 KV 解码例程毫秒数，对照图 4、表 14-17；同时复测 batch≤8 的 KV 解码劣化区间。
5. I 目标业务实测：在真实上下文/并发分布上测「FP16 vs 量化」双基线差值（TTFT、吞吐、显存、抽样 PPL/零样本），再决定启用位宽档位与 KV 量化开关；记录模型升级后重跑全流程的成本。

11. 论文 / 代码 / 延伸链接

12. 给架构师的决策清单

I 以下为落地前的勾选项；标注（P）的条目对应论文证据，（R）对应仓库核验项，其余为工程判断。

• 需求与规模
  • 明确收益对象：prefill 算力（大 batch）与解码显存（KV/权重），不是小 batch 单请求延迟（P：加速随 batch 增大、batch≤8 KV 解码更慢，第 8、18、20 页）
  • 确认目标模型家族与 4bit 掉点容忍度：LLAMA-2 系证据充分，LLAMA-3/其他家族先跑 PPL + 零样本再决定（P：表 11/12，第 16-17 页）
  • 确认单块数字与自身负载的换算关系：论文无整模型端到端吞吐，须自测（P：单块口径，第 7-8 页；I：换算）
• 兼容性
  • 确认 GPU 支持 INT4 TensorCore 且 CUDA/驱动可构建 CUTLASS INT4 GEMM 与 FlashInfer KV 内核（P：内核栈，第 7-8 页；I：环境前提）
  • 确认推理栈可承载 HuggingFace + PyTorch 上的旋转/量化流程与自研内核（P：实现栈，第 7 页）
  • 核验官方仓库与依赖仓库后 pin commit/镜像 digest（R：spcl/QuaRot 2026-09-15 已核验 HEAD 5008669b；CUTLASS/FlashInfer 同日核验存在）
  • 隐藏维检查：d 为 2 的幂或可分解 d=2ⁿ·m（Kronecker Hadamard），否则在线变换与内核需适配（P：§3.1，第 3 页；I：工程判断）
• PoC（1-2 周量级）
  • 复测「FP16 vs 4bit GPTQ」：WikiText-2 PPL + 六任务零样本，对照表 1/2（70B：3.79/75.98）（P：第 7-8 页；I：方法）
  • 复测 RTN 8bit/6bit 档：确认 INT8 追平 FP16、6bit 损失可接受（P：表 3/9，第 9、16 页）
  • 单块性能复测：prefill TTFT（序列 2048、batch 1~64）与解码显存（batch 16、KV 256~4096），对照图 4/表 16/17（P：第 8、20-21 页）
  • 实测自身 batch 区间的 KV 解码时延：确认不落在 batch≤8 的劣化区间（P：表 15，第 18、20 页；I：分桶方法）
• 容量
  • 按 §7.2 公式重算单实例容量：INT4 权重 + INT4 KV（组 128）+ FP16 激活/残差 + 回退余量（P：精度构成，第 7 页；I：公式与余量）
  • 为「回退 FP16 原始 checkpoint」预留显存余量或配套降载预案——回退不是运行时开关（P：旋转不可逆改写权重，第 4-5 页；I：运维推论）
  • KV 档位选择：4bit 默认；3bit 近免费（退化 ≤0.21）可作容量紧张时的选项；禁用 2bit（P：表 6，第 14 页）
• SLO 与恢复
  • 定义 prefill TTFT 与解码吞吐 SLO，并以「FP16 vs 量化」双基线固化验收差值（I）
  • 定义精度 SLO：PPL 漂移 + 零样本抽样阈值，跌破即回退原始 checkpoint（P：表 2/11 提供对照尺度；I：阈值自定）
  • 故障演练：实例重启重载、重新部署 FP16 制品各演练一次（I）
• 成本
  • 按 §7.2 公式以「当时单价 + 查询日期」估算成本差；prefill 收益按大 batch 档位、显存收益按 KV/权重字节差分别计（I）
  • 计入一次性成本：内核栈构建与维护、量化作业（A100 单卡 70B 约 2 小时 + 5 分钟）、每次模型升级的全量回归（P：第 7 页；I：成本项）
  • 评估 6/8bit 免校准档位作为低成本起步（INT8 无损、INT6 近无损），4bit 仅在掉点可接受时启用（P：表 3/9；I：取舍）
• 安全
  • INT4 KV 缓存按用户数据处理：租户/会话切换清零，显存 dump 纳入威胁模型（I；P：KV 仍保留全部 token，第 7 页）
  • 制品供应链：旋转种子 s、量化配方、校准集构成与内核版本写入制品元数据并签名；不可追溯制品不上线（P：配方决定精度，第 4-7 页；I：治理）
  • 输出合规以「量化后制品的实际输出」为审查对象（4bit 改变输出分布）（P：表 2；I：口径）
• 运维与回滚
  • 内核/框架/驱动版本配对 pin；升级走金丝雀 + 双基线回归；回滚 = 回退上一配对制品或重部署 FP16 checkpoint（I）
  • 监控：TTFT 漂移、显存水位、PPL/零样本抽样、KV 解码时延按 batch 分桶（I）
  • 模型升级流程固化「旋转 → 量化 → 回归」全量步骤与预算（LLAMA-3 反例说明旧结论不可沿用）（P：第 16-17 页；I：流程）
• 退出策略
  • 退出 = 重新部署原始 FP16 权重（无数据/格式迁移），但需预演显存回升与降载（P：制品语义；I：评估）
  • 归档配方、校准集、评测脚本与双基线读数，保证任意档位可重建（I）
  • 若转投其他方案（KV 专用量化、weight-only、低精度硬件格式），把「旋转消除离群」作为可移植组件评估而非整体绑定（P：旋转对 weight-only 也有效，表 7，第 14-15 页；I：对比框架）

13. 证据台账

下表为核心结论的证据映射；逐条引文与核验记录见构建文件 sources/quarot.evidence.json（编号与本表一一对应）。核验日期为 2026-09-15。