ConeML
单个显卡训练的小模型跑赢同规模对手,但优势仍待复现
ConeML 用单张 5090 训练出 11.7 亿参数、每 token 激活约 3.48 亿参数的稀疏混合专家模型,在事实链测试中明显领先同规模模型。值得关注的是低成本实验模型的新路径,但该结果由作者自行发布,尚未经过独立复现。
找到 1 篇关于此标签的文章
ConeML 用单张 5090 训练出 11.7 亿参数、每 token 激活约 3.48 亿参数的稀疏混合专家模型,在事实链测试中明显领先同规模模型。值得关注的是低成本实验模型的新路径,但该结果由作者自行发布,尚未经过独立复现。