返回首页

Strata

找到 23 篇关于此标签的文章

Basalt

本地大模型推理提速明显,但高门槛仍限制普及

Reddit 用户实测称,Basalt 运行同一款混合专家模型时,输出速度明显快于 Strata,也减少了压缩上下文后的混乱。但其依赖 100GB 以上显存、内存和存储,说明个人本地部署大模型仍是一项资源密集型选择。

11月16日3 分钟AI财经周刊www.reddit.com
BigMoeOnEdge

BigMoeOnEdge 让稀疏大模型跑进个人电脑,但优势仍有限

BigMoeOnEdge 宣称无需重打包,即可在 8—32GB 显卡及 Mac 等设备运行稀疏专家混合模型(MoE,即每次只调用部分参数)。基准测试显示速度领先多数对手,但作者自测、硬件有限,尚不足以证明其能普遍取代专用推理方案。

11月15日4 分钟AI财经周刊www.reddit.com
Qwen3.8-Flash-Next

8GB 显卡跑出每秒 18 token,本地 AI 开始逼近云端体验

一名开发者在 Valve Steam Machine 上,以 8GB AMD 显卡和 32GB 内存运行 Qwen3.8-Flash-Next,实测长文本生成约每秒 17.6—17.9 token。值得关注的是,本地模型正从“能跑”迈向“可用”,但结果仍高度依赖内存管理、量化方式和具体工作负载。

11月7日4 分钟AI财经周刊www.reddit.com