3.9 GB 内存、无 swap 的 OneThingCloud OEC 设备,实测只能开启约 5.8 万 token 上下文,只有官方标称 12.8 万的一半。这组结果说明,大模型标称能力能不能落地,关键不在参数表,而在部署设备是否装得下运行所需内存。
测试对象是 LiquidAI/LFM2.5-1.2B-Instruct,通过 llama.cpp 本地运行。模型支持 12.8 万上下文,但长上下文需要持续保存此前内容的中间状态,即 KV 缓存。它不会一次性把全部历史文本塞进内存,却会随对话增长占用额外空间。
这是什么
文章先根据模型配置计算内存需求:16 层中有 6 层使用完整注意力机制,需要保存 KV 缓存,其余 10 层采用卷积结构,不产生这部分开销。由此得出每 token 约需 12,288 字节,六档上下文测试测得 12,339.5 字节,误差约 0.4%。
真正的限制来自整套运行开销。Q4 量化模型文件为 697 MiB,但进程常驻内存达到 1,432.6 MiB;设备当时可用内存只有 2,121 MB,扣除基础运行空间后,约剩 688 MiB 用于 KV 缓存,最终只能承载约 5.8 万 token。
另一个容易被忽略的结论是:把权重从 4 bit 换成 8 bit,KV 缓存仍按 FP16 保存,单位 token 开销几乎没有变化。更有效的节省方式,是减少相关层的缓存需求,或专门量化 KV 缓存,而不是反复调整权重精度。
行业怎么看
这次测试的价值在于,把“支持多少上下文”还原成设备上的可用容量。模型结构、量化格式、操作系统缓存和内存余量共同决定最终上限,单看模型卡上的 128K,很容易高估小型边缘设备的能力。
但我们也要看到风险。第一,结论基于一款 12 亿参数模型、一种量化和一台设备,不能直接外推到所有小模型;不同架构的 KV 缓存需求可能相差很大。第二,文章使用进程常驻内存进行估算,其中包含文件映射页和临时工作副本,未必等同于设备真正可稳定承载的上下文长度。第三,标称上下文越受内存约束,部署者越需要提前规划容量,而不能把上限留到运行时碰运气。
对普通人的影响
对企业 IT:采购小型 AI 设备时,除了算力和模型文件大小,还要预留运行开销与 KV 缓存空间,并设置降级方案,避免长任务触发系统直接终止进程。
对个人职场:本地运行大模型更适合资料分析、文本处理等可控任务,但标称长上下文不等于设备随时能接住超长文档,重要工作不宜只依赖单一本地设备。
对消费市场:“小盒子运行大模型”正在变得更现实,不过产品宣传若只展示模型参数和最大上下文,而不说明可用内存与实际长度,就很难作为可靠的购买依据。