Kimi K3
Kimi K3 训练系统公开复刻,Muon 优化器走向轻量化
掘金项目尝试用 CPU 复刻 Kimi K3 的 Muon 优化器与训练系统,覆盖矩阵正交化、参数分组、QK-Clip 和训练循环。它不是大规模训练成果,价值在于把此前集中在论文和闭源团队中的训练方法,拆成可运行、可视化、可调试的工程教程。
找到 1 篇关于此标签的文章
掘金项目尝试用 CPU 复刻 Kimi K3 的 Muon 优化器与训练系统,覆盖矩阵正交化、参数分组、QK-Clip 和训练循环。它不是大规模训练成果,价值在于把此前集中在论文和闭源团队中的训练方法,拆成可运行、可视化、可调试的工程教程。