端侧部署

找到 2 篇关于此标签的文章

巨头们都在卷千亿参数，但普通人的笔记本只能跑得动 9B 模型

本周 LocalLLaMA 社区一则吐槽帖引爆讨论：用户抱怨每次推荐 Qwen 9B 这类小模型，评论区都被「122B 更好」刷屏。可普通人笔记本只有 8GB 显存。基准测试的赢家，不一定是真实世界的可用者。

AI模型在16位切8位部署时易精度崩塌，新方法提出以8位为底座、对敏感层做16位升级的“等效拓扑”设计，兼顾性能与精度，标志着模型部署走向精打细算。