Apple
M5 Ultra 提前十天到货 — 本地大模型硬件供应正在提速
一名用户提前十天收到搭载 64 核 M5 Ultra、96GB 内存的设备,并将其分享至 LocalLLaMA 社区。这条个体消息不足以代表整体供应,但大型统一内存设备到货提速,可能继续降低企业部署本地大模型的基础设施门槛。
找到 5 篇关于此标签的文章
一名用户提前十天收到搭载 64 核 M5 Ultra、96GB 内存的设备,并将其分享至 LocalLLaMA 社区。这条个体消息不足以代表整体供应,但大型统一内存设备到货提速,可能继续降低企业部署本地大模型的基础设施门槛。
r/LocalLLaMA 有用户提议按显存或统一内存给帖子加标签。表面看是社区管理细节,实质上点出本地大模型最现实的门槛:决定你能不能跑、跑得顺不顺的,往往不是模型名字,而是机器里的高速内存。
AMD 下一代 Strix Halo 传闻将支持 192GB 统一内存,单机即可跑通 122B 参数大模型。内存而非算力,正成为本地部署AI的真正卡点,这个瓶颈一旦松动,企业私有化部署的成本逻辑将重算。
Reddit用户用16台Nvidia DGX Spark搭成集群跑通434GB大模型,验证了统一内存的实用价值。大模型推理瓶颈正从算力转向显存,企业自建本地算力有了新思路。
一位用户发现自己 24GB 内存的 AMD 迷你电脑只能给 AI 模型分配 8GB 显存,想扩到 16GB 却无从下手。这个看似普通的技术求助,折射出一个被低估的现实:「在家跑 AI」的硬件门槛,远比营销话术描述得复杂。