llama.cpp
llama.cpp 尝试用 CPU 承接 MoE 专家层,低显存本地部署有望提速
llama.cpp 社区提交 MoE 缓存方案,允许将未命中的专家模型放在 CPU 上运行,并配套调优脚本。它可能改善低显存设备运行混合专家模型的效率,但实际加速幅度与兼容性仍需实测。
找到 1 篇关于此标签的文章
llama.cpp 社区提交 MoE 缓存方案,允许将未命中的专家模型放在 CPU 上运行,并配套调优脚本。它可能改善低显存设备运行混合专家模型的效率,但实际加速幅度与兼容性仍需实测。