返回首页

Colibri

找到 1 篇关于此标签的文章

BigMoeOnEdge

BigMoeOnEdge 让稀疏大模型跑进个人电脑,但优势仍有限

BigMoeOnEdge 宣称无需重打包,即可在 8—32GB 显卡及 Mac 等设备运行稀疏专家混合模型(MoE,即每次只调用部分参数)。基准测试显示速度领先多数对手,但作者自测、硬件有限,尚不足以证明其能普遍取代专用推理方案。

11月15日4 分钟AI财经周刊www.reddit.com