LocalLLaMA
AI 推理开始「偏科」：一群新引擎放弃通用性，只为榨干每一块硬件
一批只针对特定模型+特定硬件深度优化的「偏科」推理引擎正在冒头，放弃通用性以换取极致性能。这意味着 AI 部署正从「一个引擎跑所有模型」走向「一块硬件一个引擎」的精细化时代，对本地部署成本的影响值得观察。
返回首页
开源推理
找到 3 篇关于此标签的文章
TensorSharp
本地推理 AI 提速 3.3 倍 — 不愿把数据交给 OpenAI 的企业多了新选项
本周 TensorSharp 团队发布对比测试：用 DiffusionGemma 做分类决策时，本地推理中位延迟从 10.5 秒降至 2.9 秒，提速约 3.3 倍；36 次请求零失败，原方案 9 次因 JSON 解析报错。对关心数据隐私、不愿把数据上公有云的企业，这是一份值得留意的进展。
llama.cpp
llama.cpp 加入"懒加载"：本地跑千亿大模型，硬件门槛砍掉一大截
llama.cpp 新增 TENSOR_READ_LAZY 机制，模型权重按需读取而非一次性塞进显存或内存。这意味着更大参数规模的模型能在消费级硬件上跑起来，对本地 AI 部署生态是一次实质性的松动。