中文翻译

摘要: Google Research于2026年3月发布TurboQuant，一种无需训练、可将LLM推理阶段KV缓存压缩至3–4比特/元素的算法，内存占用降低4–6倍且几乎无质量损失。其核心为两阶段流程：PolarQuant（b−1比特）通过随机正交旋转与极坐标转换优化量化分桶；QJL残差校正（1比特）利用JL变换压缩剩余误差。该技术有效缓解长上下文场景下GPU显存瓶颈，适用于任意Transforme

正文

ArshTechPro

发布于：2026年3月28日

TurboQuant：开发者须知——Google的KV缓存压缩技术解析

标签：#python #ai #google

如果你曾自行在本地硬件上运行过大型语言模型，并目睹随着上下文窗口不断增长，GPU显存迅速被耗尽——那么TurboQuant正是为解决这一痛点而生。

该技术由Google Research于2026年3月24日发布，将亮相ICLR 2026会议。TurboQuant是一种压缩算法，可将推理阶段中最大的内存瓶颈——即键值（Key-Value）缓存——压缩至每元素仅3–4比特（bits），且无需任何重新训练或微调。最终效果是：KV缓存内存占用降低约4–6倍，同时几乎无质量损失。

本文将深入解析TurboQuant的实际原理、其对LLM部署与实验者的重要意义，以及如何立即开始使用社区提供的开源实现版本。

问题：KV缓存正在吞噬你的VRAM

当Transformer模型生成文本时，它需为上下文中每个token计算并存储对应的“键”（Key）与“值”（Value）向量，以便后续步骤中无需重复计算——这部分数据即为“键值缓存”（KV Cache）。

问题的核心在于：该缓存大小随上下文长度线性增长，且通常以全精度（如FP16）存储。例如，对于一个80亿参数规模、上下文长度为32K的模型，仅KV缓存就可能占用约4.6 GB的VRAM；若叠加多用户并发请求或更长上下文，则显存很快就会耗尽，甚至在模型权重尚未成为瓶颈前便已告急。

当前针对该问题的解决方案——如vLLM中的FP8量化、Ollama支持的q4_0/q8_0缓存类型等——要么压缩力度不足，要么引入难以预估的质量折损。TurboQuant则致力于在这两个方面均取得突破性进展。

TurboQuant工作原理（简明版）

TurboQuant采用两阶段压缩流程，无需任何训练数据、校准过程或模型特定调优，适用于任意向量及所有Transformer架构。

第一阶段：PolarQuant（b−1比特）

首先，对每个KV向量施加随机正交旋转（random orthogonal rotation），使向量能量均匀分布于各坐标轴上，从而将原始问题转化为一种具有可预测统计特性的新形式——经过旋转后，每个坐标遵循某种确定性分布（依据头维度不同近似为Beta分布或高斯分布）。由于这种分布可在事前精确建模，我们可提前利用Lloyd-Max算法一次性计算出一组数学最优的量化分桶（quantization buckets），无需依赖具体模型或数据集进行适配。随后，PolarQuant将直角坐标系下的x/y/z表示转换为极坐标系下的半径（radius）与角度（angle）表示，从而彻底消除传统量化器所需的昂贵块级归一化常数。

第二阶段：QJL残差校正（1比特）

在第一阶段完成压缩后，仍会残留少量量化误差；第二阶段通过Johnson-Lindenstrauss变换（JL变换），将该残差投影到一个随机高斯矩阵上，并仅保留每一位的符号信息（+1 或 −1）进行存储，从而进一步压缩剩余误差部分，实现极小的额外开销与近乎零的精度损失。

来源: Brave/

采集时间: 2026-03-29 20:15:10