Apple
Mac 跑本地大模型又快五成,背后是 AI 在帮你改代码
开发者用 Claude AI 编程助手改写 Splash 开源推理引擎(让大模型在 Mac 本地跑起来的关键软件),专门适配 M5 Max 芯片,并发请求最高提速 50%,单请求提速约 25%。我们关心的是另一件事:AI 已经能写出性能敏感的底层代码,这对企业私有化部署意味着新选项。
找到 3 篇关于此标签的文章
开发者用 Claude AI 编程助手改写 Splash 开源推理引擎(让大模型在 Mac 本地跑起来的关键软件),专门适配 M5 Max 芯片,并发请求最高提速 50%,单请求提速约 25%。我们关心的是另一件事:AI 已经能写出性能敏感的底层代码,这对企业私有化部署意味着新选项。
本周一个开源项目 Splash 1.1.0 发布,让顶配 Mac 用户在本地流畅运行 270 亿参数大模型,速度约 50 字/秒。值得关心的是:本地 AI 推理开始具备实用性,企业不必再为每一次 AI 调用向云端付费。
开发者针对 40 核 M5 Max 重新调优推理引擎内核,本地大模型生成速度又快 20%。数字不大,但暴露一个被掩盖的代价——Apple Silicon 想跑 AI,每代芯片都得重新人工优化一次。这件事关系到 Mac 能不能真正成为本地 AI 主力硬件。