TurboQuant

找到 3 篇关于此标签的文章

turbovecTurboQuant

1000 万文档向量可从 31GB 压到 4GB，RAG 成本开始回到工程优化

一项向量索引方案给出的数字很直接：1000 万文档可从 31GB 压到 4GB。我们注意到，这不是又一个“更强模型”，而是 RAG（检索增强生成，用外部知识补充大模型回答）开始进入算账阶段：谁能把检索成本做低，谁才更容易真正落地。

6月19日2 分钟

TurboQuantKV缓存

KV 缓存压缩出现独立评估工具 — 推理优化的重心正转向基础设施

KV 缓存是大模型长文本推理的显存大户，现在有人为 TurboQuant 压缩方案写了独立评估工具。这意味着推理优化正从'能不能跑'走向'怎么跑得稳'。

5月5日2 分钟

GPoUr with ~12gb vram and a 3080 getting 40tg/s on qwen3.6 35BA3B w/ 260k ctx

ll ama.cpp 的 turboquant 分支通过 turbo3 KV cache 量化，在单张 RTX 3080 12GB 显存上实现 Qwen3-35B-A3B 约 40 tok/s 推理速度，并支持 260k 上下文窗口。

4月16日2 分钟