Apple
在 Mac 上跑 Qwen 又快 3 倍 — 本地 AI 第一次接近能当工具用
一位长期优化苹果芯片的开源开发者，把 Qwen（阿里通义千问开源版）等模型在 Mac 上的运行速度提升到原来的 3 倍。本地 AI 从「勉强能跑」向「真的能用」又近了一步，但对绝大多数人仍需一层产品包装。
返回首页
MLX
找到 10 篇关于此标签的文章
Apple
苹果 M5 Ultra 跑国产大模型,改一个参数让推理速度涨两成 — 本地 AI 这次真的够用了
本周 Reddit 技术帖显示：苹果 M5 Ultra 跑国产 GLM-flash 模型时，把一个叫 prefill step 的参数从 2048 调到 8192，13 万 token 长文档总耗时直接缩短两成。这不是技术细节，而是本地大模型跨过一道隐形门槛的信号。
Apple
Mac 跑本地大模型，开发者花两周实测：一团乱麻 — 落后英伟达一整代
一位 Reddit 社区开发者花两周全职测试了 Mac 上跑大模型的所有主流框架，结论直接：苹果 AI 软件生态碎片化严重，关键优化技术分散在十几个 fork 里，没有英伟达 CUDA 那样成熟。对想用 Mac 部署本地 AI 的公司，这是个值得警惕的信号。
MLX
本地跑大模型的「压缩格式」之争 — MLX 4bit 量化谁更值得用
有人在 Reddit 上比较了在苹果芯片上跑开源大模型（如 Qwen3.6）的几种 4bit 量化方案。这是「本地 AI」玩家关心的小事：量化格式决定模型占用内存、生成速度和回答质量，普通人不必懂，但值得知道这件事正在被认真优化。
Gemma
16GB Mac 跑起 Gemma 12B，但本地大模型离产品化还很远
一位开发者把 Gemma 12B 的 MLX 内核代码开源，并称在 16GB 的 M5 MacBook Pro 上可摸到 20-30 tok/s 上限。值得我们关心的是，这说明本地模型优化正在深入到底层，但离稳定、可交付的企业应用还有明显距离。
Ollama
Ollama 让 Mac 一行命令跑本地大模型 — 个人电脑正成为 AI 新入口
Ollama 是开源本地大模型部署工具，一行命令即可在 Mac 运行通义千问、DeepSeek 等，整合苹果 MLX 后推理速度翻倍。当本地部署门槛降到装个 App 的程度，数据不上云的 AI 使用方式可能真正普及。
MLX
DFlash 投机解码登陆 Apple Silicon：Qwen3.5-9B 实 现 4.1 倍加速，现已开源（MLX，M5 Max）
开源项目 DFlash 在 M5 Max 上借助 MLX 实现 Qwen3.5-9B 推理 4.13 倍加速，token 接受率高达 89.4%。
4月13日9 分钟opcnew 编辑部www.reddit.com
CoreMLEN
Apple's On-Device AI Moat: What It Means for Edge Builders
Apple's privacy-first, on-device AI stack may become the default for builders who need inference without cloud costs .
Gemma 4EN
Gemma 4 audio with MLX
Google's Gemma 4 E2B model can transcribe audio locally on macOS using MLX and a single uv run command.
4月13日3 分钟opcnew 编辑部simonwillison.net
Hitoku
Hitoku ：基于 Qwen3.5/Gemma 4 的开源 macOS 本地上下文感知语 音助手
开源 macOS 助手 Hitoku 支 持 Gemma 4 与 Qwen 3.5 完全本地运行，可感知屏幕内 容与文档上下文，数据不出本机。
4月13日9 分钟opcnew 编辑部www.reddit.com