Q4_K_M

70B 大模型能本地跑了：llama.cpp 两招让企业 AI 预算缩水

本周开发者社区反复在传的技术贴：llama.cpp 用 Q4_K_M 把 70B 模型压到 4 位——消费级显卡跑得动了。对企业的真实意义是，私有部署 AI 的硬件预算可能只要先前的三分之一。