llama.cpp
3.9GB 盒子实测只能跑 5.8 万上下文,标称参数不等于可用能力
对 LiquidAI LFM2.5-1.2B 的实测显示,官方标称的 12.8 万上下文受内存限制,3.9GB 设备只能开启约 5.8 万。文章也揭示,权重量化不会同步降低 KV 缓存开销,边缘端部署必须同时核算结构、内存与上下文。
找到 1 篇关于此标签的文章
对 LiquidAI LFM2.5-1.2B 的实测显示,官方标称的 12.8 万上下文受内存限制,3.9GB 设备只能开启约 5.8 万。文章也揭示,权重量化不会同步降低 KV 缓存开销,边缘端部署必须同时核算结构、内存与上下文。