llama.cpp
CPU 跑大模型提速 3-7 倍 — llama.cpp 一次更新，悄悄改写企业 AI 算力账本
开源推理框架 llama.cpp 合并一项 CPU 优化，使矩阵运算提速 3-7 倍。这看似一次底层更新，实则意味着企业用普通服务器就能跑大模型，原本非买不可的 GPU 堆栈，第一次有了真正可用的替代方案。
返回首页
CPU推理
找到 2 篇关于此标签的文章
BitNet
有人在普通CPU上跑出36 token/秒 — 大模型推理开始摆脱显卡依赖
一位开发者用纯C99写出零依赖推理引擎，在Intel至强CPU上跑出每秒36个token的成绩。值得关心的是：当模型压缩到1.58位，算力天花板不再是GPU，而是内存带宽。