返回首页

EAGLE-3

找到 2 篇关于此标签的文章

Kimi K3

Kimi K3 把预测训练接到推理加速上,复刻难点不只在模型

Kimi K3 的轻量化复刻项目尝试把多词元预测(MTP,训练时一次预测多个后续词元)与 EAGLE-3 投机解码(先生成候选、再由主模型核验)串成一条链路。它值得关注的地方,是把大模型训练效率与推理速度放进同一套设计;真正的难点则落在候选接受率、状态恢复和工程实现。

11月16日4 分钟AI财经周刊juejin.cn