Thinking Machines
单张 B200 跑通 4 位训练,模型提速还要看规模效应
一名开发者复现了 Thinking Machines 的低精度训练方案:在一张 B200 上,以 4 位计算完成前向传播、8 位完成反向传播,8.4 亿参数模型的验证损失与 BF16 基本一致,训练速度提升 28%。结果证明低精度训练可落地,但尚未覆盖多卡和更大模型。
找到 1 篇关于此标签的文章
一名开发者复现了 Thinking Machines 的低精度训练方案:在一张 B200 上,以 4 位计算完成前向传播、8 位完成反向传播,8.4 亿参数模型的验证损失与 BF16 基本一致,训练速度提升 28%。结果证明低精度训练可落地,但尚未覆盖多卡和更大模型。