Hugging Face
Hugging Face 公开 MoE 训练手册，大模型训练经验开始沉淀
Hugging Face 发布面向专家混合模型（MoE）的完整训练手册，涵盖 Megatron-LM 配置、路由与负载均衡、部署及强化学习。其价值在于公开约 80 万 GH200 GPU 小时的实践方法，让企业少走重复试错的路。
返回首页
Megatron-LM
找到 3 篇关于此标签的文章
Miles
中国团队开源 RL 训练框架 Miles — 大模型"调教"工具开始平民化
Miles v0.1 把 RL 后训练（让大模型反复做题-批改-改进）的工程难题拆开开源。中国开发者加入这场基础设施竞赛，"调教"大模型不再只是大厂专利。
Megatron-LM
千亿大模型训练的开源链路首次完整跑通 — 但能用上的中国团队不到十家
工程师把 K8s（容器调度）、Megatron-LM（NVIDIA 开源的模型并行训练框架）、vLLM（推理加速引擎）拼成一条训练千亿参数模型的完整流水线，并写成对照文档。国产大模型的「基础设施焦虑」有了解法，但真正能跑起来的玩家仍屈指可数。