MQBench
AI 模型瘦身 4 倍还能跑准 — 这件技术小事正在改写企业算力账本
MQBench 这周更新到第七个硬件后端。背后是模型量化这门「压缩术」——把 32 位精度的模型压到 8 位，体积与推理成本降到 1/4，精度损失通常不到 1%。这是 AI 从云端走向边缘、从大厂走向中小企业的关键工程，却少有人讲清楚。
返回首页
QAT
找到 3 篇关于此标签的文章
Gemma 31B
同样是 Gemma 31B，本地量化版本差异明显：能不能长文稳定工作，比跑分更重要
一位本地模型用户连续对比发现，Gemma 31B 不同量化版本在长上下文和工具链场景下表现差异很大。值得关心的不是“能不能跑起来”，而是本地大模型正进入稳定性比参数规模更重要的阶段。
QAT
AI模型量化告别全盘降级，混合精度拓扑设计成工程新解
AI模型在16位切8位部署时易精度崩塌，新方法提出以8位为底座、对敏感层做16位升级的“等效拓扑”设计，兼顾性能与精度，标志着模型部署走向精打细算。