llama.cpp
llama.cpp 加入 FP8 缓存 — 本地模型正压缩运行成本
llama.cpp 新增 FP8 KV 缓存支持,通过降低长对话中的缓存精度需求,减少本地大模型运行时的内存占用。对企业私有部署和消费级设备而言,这可能让更长的上下文、更大的模型更容易在有限硬件上运行。
找到 3 篇关于此标签的文章
llama.cpp 新增 FP8 KV 缓存支持,通过降低长对话中的缓存精度需求,减少本地大模型运行时的内存占用。对企业私有部署和消费级设备而言,这可能让更长的上下文、更大的模型更容易在有限硬件上运行。
LingBot-Video 新增8步生成方案,但这不是小显存承诺:300亿总参数仍在,官方测试甚至出现推理更快、显存占用更高的配置。视频模型选型需同时核对权重、采样与硬件。
一张截图让 Reddit r/LocalLLaMA 板块这周炸锅:跑 FP8/BF16 高精度模型的人,看到有人用 IQ1_S 极低量化(把参数压到 1 比特)跑模型,集体「生理不适」。这场争论折射出 AI 消费化的真实拐点:精度洁癖与普惠实用之间,没有中间地带。