CPU推理

有人在普通CPU上跑出36 token/秒 — 大模型推理开始摆脱显卡依赖

一位开发者用纯C99写出零依赖推理引擎，在Intel至强CPU上跑出每秒36个token的成绩。值得关心的是：当模型压缩到1.58位，算力天花板不再是GPU，而是内存带宽。