dr-triton

Kimi 编程模型压缩至单卡运行 — 高分推理开始争夺企业私有部署

开发者将 2.8 万亿参数的 Kimi-K3.1-Pro-Coder 压缩至 775GB，并借助分层卸载在单张 Blackwell 显卡上运行，AIME 与 LiveCodeBench 均达 96.7%。这显示超大模型正探索低成本私有部署，但速度、兼容性和复现门槛仍是现实约束。