KIVI：key 按通道 / value 按 token 的免调优非对称 2bit KV 缓存量化

1. 摘要与一句话判断

3 分钟速读

1. 问题：批量与上下文一大，KV 缓存就成为显存与速度瓶颈——540B PaLM 在批 512、上下文 2048 时 KV 缓存达 3TB（参数量的 3 倍，第 1 页）；OPT-175B 在批 512、输入 512、输出 32 时 KV 缓存 1.2TB（权重的 3.8 倍，第 3 页）；GPU 每生成一个 token 都要把整个 KV 缓存从显存搬进 SRAM，期间计算核空闲（第 1、3 页）P。
2. 关键观察：仿真量化显示（Llama-2-13B、组大小 32，第 3 页表 1）：双 per-token 的 2bit 掉到 52.93/24.98（CoQA/TruthfulQA），value 也按通道则崩到 2.88/0.74，而 key 按通道 + value 按 token 拿到 63.53/28.60，几乎追平 16bit 的 66.37/29.53 P。
3. 为什么：key 的离群集中在少数固定通道，按通道分组把误差锁在通道内（注意力分数误差 9.60 vs 47.00，第 4 页表 2）；value 是注意力输出的「混合器」且注意力稀疏 84.3%，按 token 分组把误差锁在单个 token 内（输出误差 3.55 vs 49.89）P。
4. 工程化：key/value 都拆成「2bit 分组部分 + 全精度残差」：value 队列天然流式；key 攒满 R 个 token 再按通道成组量化（R 能被 G 整除）；反量化用 CUDA 融合进矩阵乘（Q_MatMul），组量化 kernel 用 Triton；与 weight-only 权重量化完全兼容（第 5-6 页）P。
5. 结果与边界：Llama-2-7B 峰值显存（含权重）降至约 1/2.6；相近峰值显存下 batch 至多 4×、吞吐 2.35×~3.47×（单卡 A100-80GB、ShareGPT 负载均值输入 161/输出 338，第 1、7-8 页图 5）P；Llama/Mistral 上 2bit 精度损失至多约 2%，但 Falcon-7B（MQA 单 KV 头）需 4bit（第 6、8 页）P；论文未报告 TTFT/TPOT 与单请求延迟I（口径核对）。

2. 问题背景

瓶颈的量级：KV 缓存随 batch 与上下文线性增长。540B PaLM、批 512、上下文 2048 时 KV 缓存 3TB，是参数量的 3 倍（第 1 页，引 Pope et al., 2023）；OPT-175B、批 512、输入 512、输出 32 时 KV 缓存 1.2TB，是权重的 3.8 倍（第 3 页，引 Sheng et al., 2023）P。同时解码期 GPU 每产出一个 token 都要把整个 KV 缓存从显存搬入 SRAM，期间计算核基本空闲——KV 既吃容量也吃带宽P（第 1、3 页）。

既有路线及其代价：P（第 1 页）论文把已有工作分三类：①减少 KV 头数（MQA/GQA）——需从头训练或微调；②驱逐不重要 token（H2O、Scissorhands、StreamingLLM）——丢弃信息；③系统层手段（FlexGen 卸载、vLLM 分页）——改内存管理、不缩小 KV 本身。量化是最直接的「省字节」手段，但此前 KV 量化研究很少，多是对全量 KV 直接套 4bit round-to-nearest；GPTQ 这类优化型方法因 KV 流式到达、开销不适用（第 3 页）P。

目标工作负载与约束：长上下文与批量推理服务；约束是：不训练、不微调、不用校准数据（tuning-free），精度损失可忽略，且实现必须对 GPU 亲和（第 1 页摘要主张；第 6 页 System Support）P。

基线口径：精度基线为同模型 16bit KV（FP16 缓存）；效率基线为 FP16 KV + FP16 权重的标准推理，批量从小到大扫描直至 OOM（第 6-8 页）P。I 因此论文数字回答的是「KIVI 比 FP16 缓存强多少」，不回答「与其他 KV 压缩方案比谁优」。

3. 核心机制

3.1 量化原语与关键实验观察

KV 缓存是流式结构，作者采用最灵活的 round-to-nearest（RTN）对称区间量化P（第 3 页）：

仿真（fake）量化实验P（第 3 页表 1；Llama-2-13B、CoQA/TruthfulQA、组大小 32，先量化再在注意力层反量化）：

三条观察P（第 3 页 OB1-OB3）：INT4 双 per-token 尚可保持精度、INT2 明显掉点（OB1）；value 一旦按通道，无论 key 怎样都显著恶化（OB2）；INT2 下最优组合是 key 按通道 + value 按 token（OB3）。

3.2 为什么 K/V 的量化维度必须不同

• Key：离群锁在少数固定通道。图 2（第 4 页）显示 Llama-2-13B 第 16/31 层与 Falcon-7B 第 16/20 层的 key 缓存存在少数幅值极大的固定通道，value 无此模式。按通道分组使离群通道「独享」自己的零点/缩放，不污染其他通道：key 重建误差 4.55（按通道）vs 13.67（按 token），注意力分数误差 9.60 vs 47.00（按 token 差约 5×）P（第 4 页表 2）。
• Value：注意力输出的「混合器」，误差要按 token 锁。注意力输出是 value 向量按注意力分数的加权和，而注意力高度稀疏（平均 84.3%，第 4 页表 2）——输出只依赖少数重要 token。按 token 量化把误差限制在单个 token 内，量化其他 token 不伤害重要 token：输出相对误差 ∆ 为 3.55（按 token）vs 49.89（按通道，约 15× 差距）P（第 4 页 §3.2）。

3.3 KIVI 算法：分组缓存 + 全精度残差滑窗

按通道量化跨 token 成组、无法「来一个 token 量化一个」；KIVI 的解法是把 key 与 value 各拆成两段P（第 5 页 §3.3，图 3 与附录 A Algorithm 1，第 12 页）：

• key 拆分：X_Kg = X_K[:l−r]（分组段，2bit）＋ X_Kr = X_K[l−r:]（残差段，全精度，≤R 个 token）。新 token 的 key 追加进 X_Kr；攒满 R 个即按通道维量化（每 G 个 token 一组）并入 Q(X_Kg)，X_Kr 清空。约束：R 必须能被 G 整除P（第 5 页）。
• value 拆分：FIFO 队列 X_Vr 保留最新 R 个全精度 value；队列超过 R 时弹出最旧的，按 token 维分组量化并入 Q(X_Vg)。按 token 量化与自回归流式天然对齐P（第 5 页）。
• 注意力拼接：A = Concat([A_g, A_r])，其中 A_g = t_Q·Q(X_Kg)ᵀ（经 Q_MatMul，反量化融合在 tiling 级完成）、A_r = t_Q·X_Krᵀ；输出 t_O = A_g·Q(X_Vg) + A_r·X_VrP（第 5 页式 3）。
• 全精度滑窗：KIVI 实际为局部相关 token 维护一个全精度 KV 滑窗，窗口大小预期为 key R/2、value R（第 6 页；注：kivi.txt 提取把两者归属写反，已按 PDF 原页更正）。该滑窗对 GSM8K 等硬任务拿到理想性能至关重要——fake 2bit(K-C,V-T) 全量化在 Llama-2-7B GSM8K 只有 5.76，KIVI-2 保留滑窗后为 12.74（16bit 13.50）P（第 6 页 §4.2.1、第 8 页表 3）。
• 开销可控：实验取 R ≤ 128，序列长度通常远大于 R，残差显存开销可忽略；prefill 阶段传给下一层的是精确张量（精度不受影响），内存中只保留量化 KVP（第 5-6 页）。

3.4 系统支持（GPU kernel）

P（第 6 页 System Support）为压低开销：①反量化融合进矩阵乘——Q_MatMul（混合精度矩阵乘，CUDA 实现，反量化在 tiling 级完成）；②组量化 kernel 用 Triton 实现；③方法与 weight-only 权重量化完全兼容，可叠加。

4. GPU/系统数据路径

端到端文字序列（与图中编号一致）

1. ① 前向投影：当前 token 嵌入 t 经 W_Q/W_K/W_V 得到 t_Q、t_K、t_V（每层每头各一份）；prefill 逐层传精确张量，解码期每步只有一个 token 到达（流式）P（第 2、5 页）。
2. ② 写缓存（残差）：t_K 直接追加进全精度残差缓冲 X_Kr（≤R 个 token）；t_V 进入 FIFO 队列 X_Vr（保留最新 R 个）。两者此时都是 FP16P（第 5 页）。
3. ③ 触发量化：len(X_Kr)=R 时 KeyQuant——沿通道维分组、每 G=32 个 token 一组、组内按通道算零点/缩放，量化为 2bit 并入 Q(X_Kg)，X_Kr 清空；len(X_Vr)>R 时弹出最旧 token、沿 token 维量化并入 Q(X_Vg)P（第 5 页、第 12 页 Algorithm 1）。
4. ④ 读缓存（注意力）：A = Concat([t_Q·Q(X_Kg)ᵀ, t_Q·X_Krᵀ])，量化段经 Q_MatMul（CUDA 反量化融合矩阵乘）；Softmax 后输出 t_O = A_g·Q(X_Vg) + A_r·X_VrP（第 5 页式 3、第 6 页）。
5. ⑤ 存储布局：每层每头一个四元组 ⟨Q(X_Kg) 2bit＋统计量, X_Kr 全精度 ≤R, Q(X_Vg) 2bit＋统计量, X_Vr 全精度 R⟩；R≤128 时残差开销可忽略P（第 5 页）。统计量（零点/缩放）的存储精度：论文未明确披露。
6. ⑥ 循环与收益：每步重复 ②→④ 并回写四元组；KV 显存下降 → 同显存可容更大 batch → 吞吐上升。单卡 A100-80GB、Llama-2-7B 上：峰值显存（含权重）约 1/2.6，batch 至多 4×，吞吐 2.35×~3.47×P（第 1、7-8 页图 5）；上下文/输出越长收益越大P（第 8 页）。

5. 架构权衡

• 显存下降 ↔ 精度风险（模型相关）

  P KV 存 2bit 后 Llama/Mistral 精度损失至多约 2%（第 6 页）；但 Falcon-7B 用 MQA、KV 只有单头，本已高度压缩，2bit 明显掉精度（CoQA 57.48 vs 16bit 59.83，GSM8K 3.41 vs 4.55），需 KIVI-4（第 6、8 页）。I 位宽档位（2bit/4bit）是按模型注意力结构选的，不是全局常数。

• 非对称收益 ↔ 写路径复杂度

  P value 按 token 天然流式；key 按通道跨 token 成组，必须维护残差缓冲、攒满 R 个才量化，且 R 要能被 G 整除（第 5 页）。I 这是「更优量化几何」换来的状态机复杂度：两套触发阈值、两种队列语义，配置错误会直接打击精度（见 GSM8K 敏感性）。

• 精度保持 ↔ 全精度滑窗依赖

  P 全量化 2bit(K-C,V-T) 在 Llama-2-7B GSM8K 仅 5.76，KIVI 靠滑窗拉回 12.74（16bit 13.50）；残差长度对常规任务不敏感（{32,96,128} 无显著差异）但对困难任务重要（R=64 最差 19.86 vs R=128 20.77）（第 6-9 页）。I 滑窗是精度生命线：窗口被配小或失效时，硬任务先受伤且不易在常规评测中发现。

• 吞吐上升 ↔ 反量化开销与融合深度

  P 吞吐 2.35×~3.47× 的同时，论文承认量化开销尚未充分融合——「若把 KV 量化进一步与前序算子融合，加速还能大幅提升」，留作未来工作（第 8-9 页）。I 即当前实现存在可回收的开销；但绝对耗时论文未披露，无法估算上限。

• 批量容量 ↔ 单请求延迟（未量化）

  P 论文报告批处理吞吐与峰值显存，未报告 TTFT/TPOT 或单请求延迟；图 5 中 FP16 基线的吞吐峰值出现在小批量（读图约 batch 32 处 ~760 tokens/s），更大批量反而回落P＋I（读图）。I 引用「4× batch」时必须明确：那是 OOM 边界的容量收益，不是「任何 batch 下都快 4×」。

• 正交可组合 ↔ 集成面

  P KIVI 与 weight-only 量化、token 驱逐（H2O 等）、系统分页（vLLM PagedAttention、S3）正交、可叠加（第 6、9 页）。I 代价是集成面在推理框架的 KV 读写关键路径上：自研 CUDA/Triton kernel 的版本、兼容性与性能回归都成为平台责任。

6. 云上部署映射

以下映射为厂商中立示例；具体产品命名/规格仅作说明并标 E，以厂商当时目录为准，未逐一在线核验。论文事实单独标注 P。

7. 成本 / 性能 / SLO

7.1 指标口径（论文使用的）

P（第 6-9 页）精度：CoQA（精确匹配）、TruthfulQA（BLEU）、GSM8K（精确匹配）、LongBench 8 任务平均、NIAH 检索；效率：批处理吞吐（tokens/s，全并发合计）与峰值显存（GB），负载为 ShareGPT 合成（平均输入 161/输出 338），扫描 batch 直至 OOM。TTFT、TPOT、单请求延迟：论文未明确披露。

7.2 容量与成本公式（参数化，编辑推断）

I 公式中可由论文支撑的量：KIVI 相对 FP16 的 KV 压缩与「相近峰值显存下 batch 至多 4×」（Llama-2-7B、A100-80GB，第 8 页）；峰值显存（含权重）约 1/2.6（第 1 页）。其余（单价、激活开销、回退余量、请求长度分布）需按部署实测填写，本页不给出伪精确数字。E Llama-2-7B 的 L=32、d=4096 取自公开模型卡（非论文内容），仅作代入示例。

7.3 图 5 数字上下文（A100-80GB · Llama-2-7B）

7.4 敏感项与数据缺口

• P 敏感项排序（各自条件下）：模型注意力结构（MQA 的 Falcon 2bit 掉精度，需 4bit）＞ 组大小（G=128 时 GSM8K 降到 17.29，G=32/64 相当）＞ 残差长度（常规任务不敏感、困难任务忌 R=64）＞ 任务类型（GSM8K 等硬任务对滑窗最敏感）。
• P 数据缺口：TTFT/TPOT/单请求延迟、量化与反量化算子绝对耗时、精度实验的 GPU 型号与数量、不同上下文长度下的吞吐曲线（只有定性「越长越大」）——论文未明确披露。
• I 云价格、能耗、kernel 集成的一次性工程成本：论文未涉及，部署时自测。

8. 安全与可运维性

8.1 安全

• KV 缓存即用户数据：I KIVI 不改变 KV 缓存的语义——它仍完整保留全部输入 token（论文明确「保留所有 token、只压缩精度」，第 9 页），量化不是加密。多租户实例复用前必须重置/清零 KV 显存，防止跨会话残留；显存 dump 即数据泄露（通用推理服务要求）。
• 数据驻留与边界：P KV 缓存全程驻留 GPU 显存（四元组，第 5 页），论文无外置/卸载设计。I 云上驻留边界＝实例边界；跨可用区不复制 KV。
• 供应链：R 代码来自摘要印明的 github.com/jy-yuan/KIVI（第 1 页）；I 引入时 pin commit/镜像 digest、扫描 CUDA/Triton kernel 与依赖、保留可回退版本；本页未在线核验仓库，接入前先人工复核归属、许可与活跃度。
• 输出风险继承：P 论文 Impact Statement 表示无额外需特别强调的社会影响（第 9 页）。I 但 2bit 量化改变了输出分布（精度基准内「至多约 2%」是均值口径），合规审查应以「KIVI 实际输出」为对象。

8.2 可运维性（含恢复与回滚）

• 天然回退路径＝FP16 缓存：I KIVI 是推理时配置（论文基线即 FP16），回退＝关闭量化开关重新加载模型。关键运维约束：回退后 KV 显存占用上升（容量收益消失），必须预留显存余量或同步降载，否则回退动作本身会触发 OOM。
• 配置变更管理：P G=32、R=128 是全部实验的验证口径；G=128 精度显著下降、R 必须能被 G 整除（第 5-9 页）。I 把 (G, R, 位宽) 作为与模型版本绑定的配置资产管理，变更走灰度＋GSM8K/检索类硬任务回归；禁用未经校验的组合。
• 故障恢复：I 推理服务无训练态，故障恢复＝实例重启＋模型制品重载；KV 缓存不持久化、丢失即重算（prefill 重放）。多实例无状态水平扩展，单实例故障由负载均衡摘除（云编排能力，E）。
• 监控告警：I 建议：①显存水位与 OOM 边界批量（量化失效会先表现为显存回升）；②吞吐相对基线的漂移；③GSM8K 类硬任务与 NIAH 检索的抽样分数（滑窗配置错误时硬任务先受伤）；④残差/队列长度分布（异常增长提示触发逻辑故障）。
• 升级与回滚：I kernel（CUDA/Triton）与推理框架版本配对 pin；升级走金丝雀＋双基线回归（开/关量化各测一组吞吐与精度）；回滚＝回退上一配对制品或运行时关闭量化。模型升级需重验 (G, R, 位宽) 组合，发布计划包含再评测周期。
• 验收基线：I 上线前固定「关量化（FP16）vs 开量化」两组读数：吞吐、峰值显存、GSM8K/检索抽测，形成可复核差值；此后任何变更以差值回归验收。

9. 适用 / 不适用场景

适用（触发条件 + 理由）

1. KV 显存已成瓶颈的批量/长上下文服务（Llama/Mistral 类）。触发：显存水位随并发或上下文增长触顶、OOM 限制并发上限。理由：Llama-2-7B 峰值显存（含权重）约 1/2.6，相近显存下 batch 至多 4×、吞吐 2.35×~3.47×（A100-80GB）P（第 1、7-8 页）；上下文/输出越长收益越大 P（第 8 页）。
2. 不能训练/微调、也没有校准数据的部署。触发：只用现成权重、零改动接入。理由：KIVI 免调优（RTN、无训练无校准），plug-and-play P（第 1 页摘要、第 3 页）。
3. 权重已做 weight-only 量化、还想继续压显存的实例。触发：INT4/INT3 权重量化后 KV 成为剩余大头。理由：论文明示与 weight-only 量化完全兼容、可叠加 P（第 6、9 页）。
4. 已用/计划用 token 驱逐或分页系统、想叠加压缩的团队。触发：vLLM 分页、H2O 驱逐已上线或规划中。理由：KIVI 保留全部 token 只压精度，与驱逐/分页正交可组合 P（第 9 页）；长上下文精度有 NIAH 27K/30K token 证据 P（第 7 页）。

不适用（触发条件 + 理由）

1. Falcon 等 MQA/单 KV 头模型追求 2bit。触发：模型 KV 头数已被 MQA/GQA 压缩。理由：Falcon-7B 上 2bit 明显掉精度（CoQA 57.48 vs 59.83），需 KIVI-4，压缩收益打折 P（第 6、8 页）。
2. 短上下文、低并发、KV 不构成瓶颈的场景。触发：序列短、批量小，KV 显存占比低且无 OOM 压力。理由：论文收益口径是批量/长上下文；残差占比在短序列下上升（论文以「序列远大于 R≤128」论证开销可忽略）P（第 5 页）＋I（外推判断）。
3. 把单请求延迟（TPOT/TTFT）当首要 SLO 的交互式场景。触发：目标是个位数字毫秒级的每 token 延迟。理由：论文只报批处理吞吐与显存，未报 TTFT/TPOT；反量化开销绝对值未披露且论文承认量化融合尚有提升空间 P（第 8-9 页）。I 期望「单请求变快」属于误读收益对象。
4. 无法保证 (G, R, 滑窗) 配置正确、也没有硬任务回归能力的团队。触发：无评测流水线、配置随意改动。理由：G=128 显著掉精度（GSM8K 17.29 vs 20.77）、R=64 最差、滑窗失效直接打击 GSM8K 类任务 P（第 7、9 页）。

10. 实验与指标

10.1 实验设置与口径 P（第 6-8 页）

10.2 主精度结果（表 3 全量转录）

P 论文口径：Llama 与 Mistral 上 KIVI 2bit 仅至多约 2% 精度损失；Falcon-7B 因 MQA 单 KV 头已高度压缩，需 4bit 保持精度、2bit 可能大幅掉点（第 6 页）。

10.3 长上下文、消融与其他证据

10.4 建议复现步骤（编辑推断）

1. I 从摘要印明仓库取代码（先人工复核归属与许可，pin commit/digest）；确认 CUDA/Triton kernel 与推理框架版本配对。
2. I 精度复测：Llama-2-7B/13B、Mistral-7B、Falcon-7B 各跑 16bit 基线与 KIVI-2/KIVI-4（G=32、R=128），对齐 LM-Eval 默认参数与 LongBench 序列上限（8192/4096）。
3. I 效率复测：单卡 A100-80GB、Llama-2-7B，ShareGPT 合成负载（均值 161/338），batch 从小到大至 OOM，记录峰值显存与吞吐；对照图 5 形状（基线小批量峰值、KIVI 大批量胜出）。
4. I 敏感性扫描：G∈{32,64,128}、R∈{32,64,96,128}、R=32 全量评测；重点观察 GSM8K 与检索类任务（滑窗敏感性最高）。
5. I 目标业务实测：在真实上下文长度分布与并发区间测「开/关量化」差值（吞吐、峰值显存、硬任务抽样精度），再决定启用范围与位宽档位。

11. 论文 / 代码 / 延伸链接

12. 给架构师的决策清单

I 以下为落地前的勾选项；标注（P）的条目对应论文证据，（R）对应仓库核验项，其余为工程判断。

• 需求与规模
  • 确认瓶颈确实是 KV 显存：记录当前实例的 KV 显存占比、OOM 触发批量与上下文分布（I；P：KV 随批量/上下文增长为瓶颈，第 1、3 页）
  • 明确收益对象是容量/吞吐而非单请求延迟：TTFT/TPOT 需求单列，不以论文数字承诺延迟（P：论文只报吞吐/显存，第 8 页）
  • 盘点模型清单：Llama/Mistral 类与 MQA 类（Falcon）分开评估位宽档位（P：Falcon 需 4bit，第 6、8 页）
• 兼容性
  • 确认推理框架可集成 KIVI 的 CUDA/Triton kernel，且与现有 weight-only 量化、分页/驱逐机制不冲突（P：正交可组合，第 6、9 页；I：集成前提）
  • 核验官方仓库归属/许可/活跃度后 pin commit；本页链接未在线核验（R：第 1 页印明；核验责任在使用方）
  • 固化 (G, R, 位宽) 为模型绑定配置：默认 G=32、R=128，R 必须能被 G 整除（P：第 5-6 页）
• PoC（1-2 周量级）
  • 复测「关量化 vs 开量化」：吞吐、峰值显存、CoQA/GSM8K 三组读数，对齐论文口径（G=32、R=128）（P：第 6-8 页；I：方法）
  • 跑硬任务回归：GSM8K 与 NIAH 检索抽测，验证滑窗在自身负载下有效（P：滑窗对硬任务关键，第 6-7 页）
  • 扫 G/R 敏感性（含 G=128 反例、R=64 反例），确认默认配置不是最差区间（P：表 5，第 9 页）
  • 在目标上下文/并发区间实测，核对收益随上下文增大的论文结论（P：第 8 页；I：实测要求）
• 容量
  • 按 §7.2 公式重算单实例可容 batch：权重 + KIVI KV + 残差 + 激活 + 回退余量（P：KV 四元组结构，第 5 页；I：公式与余量）
  • 为「回退 FP16」预留显存余量或配套降载预案，避免回退动作本身 OOM（I：回退后 KV 膨胀）
  • 长上下文流量单独规划：收益随上下文增大，但基线显存压力也最大（P：第 8 页；I：配对判断）
• SLO 与恢复
  • 定义吞吐/并发 SLO 并以「开/关量化」双基线固化验收差值（I）
  • 定义精度 SLO：GSM8K 类硬任务 + 检索抽测阈值，跌破即回退（P：硬任务先受伤，第 6-7 页；I：阈值自定）
  • 故障演练：实例重启重载、运行时关量化降级各演练一次（I）
• 成本
  • 按 §7.2 公式以「当时单价 + 查询日期」估算每百万 token 成本差，不写死即时云价（I）
  • 计入一次性成本：kernel 集成、精度回归流水线、每轮模型升级的再验证（I）
  • 评估 R=32 档位：压缩率更高、吞吐更高，精度需复测（P：附录 C，第 13 页；I：成本取舍）
• 安全
  • KV 显存按用户数据处理：租户/会话切换清零，显存 dump 纳入威胁模型（P：KIVI 保留全部 token，第 9 页；I：残留风险）
  • 供应链 pin：仓库 commit/镜像 digest 锁定 + CUDA/Triton kernel 扫描 + 可回退层（I；R：先完成仓库核验）
  • 输出合规以「KIVI 实际输出」为审查对象（2bit 改变输出分布）（I）
• 运维与回滚
  • 运行时「关闭量化回退 FP16」开关就绪，并与降载联动、有告警（I）
  • 监控：显存水位/OOM 边界、吞吐漂移、硬任务抽测、残差队列长度分布（I）
  • 升级走金丝雀 + 双基线回归；回滚 = 上一配对制品或关量化，两者独立可执行（I）
  • (G, R, 位宽) 变更纳入变更管理：灰度 + 硬任务回归，禁止热改（P：G=128/R=64 反例，第 7、9 页）
• 退出策略
  • 退出成本≈低：关闭量化即回 FP16 缓存基线，无数据/格式迁移（P：基线即回退态；I：评估）
  • 归档配置、评测脚本与双基线读数，保证可重建（I）
  • 若转向其他 KV 压缩（驱逐/分页/低秩），把「KIVI 与其正交可叠加」计入对比而非二选一（P：第 9 页；I：对比框架）

13. 证据台账

下表为核心结论的证据映射；逐条引文与核验记录见构建文件 sources/kivi.evidence.json。核验日期为 2026-09-14。