TurboQuant 是谷歌 2026 年 3 月发布的极端 KV 缓存压缩算法,核心突破是将大模型推理所需的键值缓存压缩至 3-bit,内存占用降低 6 倍,H100 上注意力计算速度提升 8 倍,同时推理精度几乎零损耗。
该算法由 PolarQuant 极坐标变换与 QJL 误差校正两个模块组成,无需重训练,即插即用,将于 ICLR 2026 正式发表。
来源:开源中国

AI技术 · 深度资讯 · 前沿观察
TurboQuant 是谷歌 2026 年 3 月..
TurboQuant 是谷歌 2026 年 3 月发布的极端 KV 缓存压缩算法,核心突破是将大模型推理所需的键值缓存压缩至 3-bit,内存占用降低 6 倍,H100 上注意力计算速度提升 8 倍,同时推理精度几乎零损耗。
该算法由 PolarQuant 极坐标变换与 QJL 误差校正两个模块组成,无需重训练,即插即用,将于 ICLR 2026 正式发表。
来源:开源中国
上一篇
下一篇
AI技术 · 深度资讯 · 前沿观察。专注科技、AI、互联网领域的深度报道与前沿资讯。
Access over the years of investigative journalism and breaking reports