长文本

本地部署大模型别只看显存 — Qwen 27B 实测显示 KV 缓存精度影响长文本表现

Reddit LocalLLaMA 社区测试发现，Qwen 27B 在 12 万 token 长文本下，f16 精度 KV 缓存比 q8_0 更稳。量化不是省显存那么简单。