开源推理

llama.cpp 加入"懒加载"：本地跑千亿大模型，硬件门槛砍掉一大截

llama.cpp 新增 TENSOR_READ_LAZY 机制，模型权重按需读取而非一次性塞进显存或内存。这意味着更大参数规模的模型能在消费级硬件上跑起来，对本地 AI 部署生态是一次实质性的松动。