This topic created in 39 days ago, the information mentioned may be changed or developed.
做了个小工具站，感兴趣的朋友可以看看：turbo-quant.com
起因是看到 Google Research 三月底发了 TurboQuant 这篇论文，讲 KV cache 压缩的，3-bit 量化能省 6 倍显存。但原论文读起来比较硬核，网上的中文资料要么是机翻 要么就是把"3-bit 零损失"这个标题党复读一遍。
所以借助 AI 花了点时间整了这个站，主要几个东西：
- 算法拆解：PolarQuant + QJL 两阶段到底在干嘛，用人话讲清楚
- 显存计算器：选个模型（ Llama 3.1 、Mistral 这些），填上下文长度，直接算 KV cache 吃多少显存，对比压缩前后
- TurboQuant vs KIVI 对比：两个方案的差异，不是那种"A 好 B 差"的水文，是把论文里的定位、方法、benchmark 放一起让你自己判断 欢迎访问看看，有问题或者建议随时反馈
No Comments Yet
Select Language