一套社区实验把 2.8 万亿参数的 Kimi-K3.1-Pro-Coder 从 1.77TB 压到 775GB，体积减少 56%，并在单张 RTX PRO 6000 Blackwell 显卡上取得 AIME 2025 与 LiveCodeBench 96.7% 的成绩。我们的判断是：前沿模型的竞争正从参数规模，转向如何把高能力压进企业买得起、部署得起的硬件体系。

这是什么

这不是官方产品发布，而是 r/LocalLLaMA 开发者的一次实验。作者使用 Strata 分层加载器和 dr-triton 反量化内核，把混合专家模型（MoE，一种让模型只调用部分参数完成每次推理的架构）的专家权重分三级存放：显存、内存和 NVMe 固态硬盘，并预加载即将调用的参数。

结果来自一张 96GB 显存显卡、176GB 内存及 Colab 环境：批量生成速度为每秒 36.8 个词元，单路为每秒 10.8 个；两项核心测试均为 29/30。该权重不能直接交给 llama.cpp 或 vLLM 使用，需要定制加载与运行链路。

行业怎么看

值得肯定的是，实验没有只报告“能跑”，而是给出完整 93 层数据，并展示量化后数学与代码能力基本保持，Top-1 词元一致率仍有 95.2%。这说明超大规模开源模型的工程价值，不只在榜单，也在逐步进入可控的私有环境。

风险同样清楚：775GB 权重仍远超一般企业的硬件预算，跨 PCIe 与 NVMe 的数据搬运也可能影响真实任务的稳定性。基准题的高分不能直接等同于软件工程、工具调用或长期代理任务（让 AI 自主规划并调用工具完成任务）的可靠性；而且方案依赖专用内核，升级、扩容和运维成本尚未被充分验证。因此，它更像是可行的工程信号，而非成熟部署方案。

对普通人的影响

对企业 IT：高能力模型从云端 API 下沉到自有设备正在变得可行，但目前更适合预算充足、有推理与运维团队的数据敏感型组织。

对个人职场：开发者可能获得更强的本地代码辅助与离线资料分析能力，但普通用户短期内仍会通过云服务使用这类模型，不会直接面对 775GB 的硬件门槛。

对消费市场：随着模型压缩和单卡运行推进，代码助手与企业知识工具可能进一步降价，但速度、稳定性和维护成本决定普及速度。