MoE缓存

Strata 两周跑出 llama.cpp 一年没动的优化 — 本地推理玩家圈正在重新排队

一个叫 Strata 的开源项目声称把 llama.cpp 的 MoE 模型推理速度拉高 5-10 倍，开发仅花两周。值得关心的是：本地跑大模型的性价比正在快速重写，企业私有化部署的临界点可能比预期更早到来。