Qwen
苹果最强 Mac mini 也跑不动 Qwen 最新模型:SSD 成了 AI 的新天花板
一位 Reddit 网友在 64GB M5 Mac mini 上跑 Qwen 最新 MoE 模型,发现 27% 时间 GPU 在等 SSD 加载专家。苹果主推的统一内存架构都吃紧,意味着本地化跑顶级 AI 的硬件门槛比想象中更高。
找到 3 篇关于此标签的文章
一位 Reddit 网友在 64GB M5 Mac mini 上跑 Qwen 最新 MoE 模型,发现 27% 时间 GPU 在等 SSD 加载专家。苹果主推的统一内存架构都吃紧,意味着本地化跑顶级 AI 的硬件门槛比想象中更高。
一位 Reddit 用户用两台合计不到 20GB 内存的旧设备,跑通了一个 300 亿参数的开源大模型,并把知识库也分散存进内存。值得关心的是:当云端 token 价格持续下降,「拼凑旧机器跑 AI」究竟是一条省钱真路,还是只是数据敏感场景里的小众选择?
苹果本周更新 Mac mini,主芯片跳到新一代 Apple Silicon。值得关心的是:这台小主机一直是'本地跑 AI 大模型'的代表机型,新芯片意味着更多普通人也能在家部署开源 AI;但距离真正进入办公室和家庭,还有一段路。