开源推理工具 AirLLM 这周更新，号称把 671B 的 DeepSeek-V3 跑在 12GB 显卡、2.8 万亿参数的 Kimi K3 跑进 4GB 显存——数字很性感，但先别激动。
AirLLM 不是新模型，而是给已有大模型做的「省显存」推理引擎。核心思路是流式加载：不需要把整层塞进显存，用到才读。对 MoE（混合专家，即模型内部按需调用多个子网络）架构尤其友好，因为每次推理只激活少数专家。本次新增对 Qwen3.8-27B 和 Kimi K3 的支持。
支持方视其为「本地部署超大模型」的破局点，认为中小企业不必再买 A100 集群。但反对声音同样有力：流式加载意味着每个 token 都要读硬盘，推理速度远低于常规部署；2.8 万亿参数 Kimi K3 这种说法在社区仍有质疑；不同模型架构适配成本高，可稳定复现的案例有限。
对企业 IT：短期别当降本方案，速度和稳定性都未过关。
对个人职场：技术爱好者可拿来尝鲜，工作流里用它还早。
对消费市场：方向比结果重要——本地 AI 跑在消费级硬件上，正在从口号变工程现实。
基于 #本地部署 推荐
本周一位 Reddit 用户用两台 NVIDIA DGX Spark 工作站（约 6 万元）跑出 DeepSeek V4 Flash 67-84 token/s 的稳定输出，配 100 万 token 上下文。我们关心的是这份民间复刻印证了一个被低估的趋势：开源大模型本地部署的成本正在快速下沉，企业
一位 Reddit 用户在 MacBook Pro M5 Max 上跑了 Qwen3.8-27B：开启「深度思考」模式后，token 消耗是普通模式的 5.5 倍、推理耗时 6 倍；关闭后质量又掉到其他 MoE 模型之后。开源模型「会思考」与「想得起」之间的成本裂缝正在浮出水面。
Tenstorrent 用户晒出 QuietBox 2 工作站跑 Qwen3.7-27B 的推理数据。这是非英伟达阵营首次拿出接近商用的实测成绩，但距离撼动英伟达生态还很远。
有人在 Reddit 用 RTX 5080 + 64GB 内存跑 Qwen 量化模型，每秒只生成约 6 个汉字。这件事值得关心：想「让 AI 跑在自己电脑上」，对硬件和调参能力的要求仍远超普通用户。
这周腾讯把 1.5TB 大模型压到 200GB，性能保留约 98%。这件事意味着企业本地跑大模型的硬件门槛被实质性跨过，对云端 API 的商业模式是个微妙信号。
一位 Reddit 用户给 NVIDIA DGX 加装主动散热，因为跑 DeepSeek 等模型时过热。这是真实的本地 AI 部署问题：即使是 NVIDIA 旗舰，持续负载下也得用户自己魔改，「即插即用」的叙事被戳穿。
