Kimi K3
Kimi K3复刻项目拆开推理底座，大模型竞争转向系统效率
一个CPU可运行的轻量化Kimi K3项目，将KDA新注意力机制对应的推理服务拆成页池、前缀缓存、投机解码、上下文并行和调度五层。它不是新模型发布，却显示大模型竞争正从参数规模延伸到复用率、延迟与部署成本。
返回首页
大模型推理
找到 6 篇关于此标签的文章
Qwen
Qwen 用分支并行蒸馏提升推理解码速度，推理成本有望继续下降
Qwen 提出 SpecOPD，将大模型推理中的投机解码与分支并行训练结合，研究显示其可提高草稿接受长度，并在部分配置下显著加快生成。对企业而言，价值不在多一个术语，而在于让本地部署、长文本和实时应用更接近可负担的推理成本。
OpenAI
OpenAI 让 AI 达到奥数金牌线 — 数学推理跨过门槛，但'真懂'还远
OpenAI 公开 AI 数学推理进展，模型在 IMO 级题目达到金牌分数线。是技术真突破还是'会考试不懂数学'？我们拆解这次发布的真实信号与水分。
Microsoft
微软让大模型推理提速4倍：AI行业下半场是抠基建成本
微软在系统顶会展示多项AI基建成果，包括让大模型推理吞吐量提升4倍的缓存共享技术。这说明AI竞争正从卷参数转向拼基础设施效率，降本将成主旋律。
DeepSeek
单日八千万 token 仅花四元 — DeepSeek 磁盘缓存重写大模型推理账本
DeepSeek 通过独创架构实现磁盘级缓存，让 API 成本骤降 10 倍。这不仅是低价竞争，更是大模型推理从拼算力转向拼工程优化的关键信号。
Nvidia
16台Nvidia超算拼成集群跑通大模型 — 企业自建算力的焦点正转向显存
Reddit用户用16台Nvidia DGX Spark搭成集群跑通434GB大模型，验证了统一内存的实用价值。大模型推理瓶颈正从算力转向显存，企业自建本地算力有了新思路。