Qwen3.8 27B
Qwen3.8 27B 实测揭示显存取舍:8 位缓存值得用,4 位仍有代价
一项覆盖 35 种权重量化、3 种推理引擎及最高 6.4 万 tokens 上下文的测试显示,Qwen3.8 27B 使用 8 位 KV 缓存几乎不损失输出质量,却能将缓存占用减半;4 位方案会随上下文增长明显偏离原模型。
找到 1 篇关于此标签的文章
一项覆盖 35 种权重量化、3 种推理引擎及最高 6.4 万 tokens 上下文的测试显示,Qwen3.8 27B 使用 8 位 KV 缓存几乎不损失输出质量,却能将缓存占用减半;4 位方案会随上下文增长明显偏离原模型。