MLX
找到 8 篇关于此标签的文章
Mac 跑本地大模型，开发者花两周实测：一团乱麻 — 落后英伟达一整代
一位 Reddit 社区开发者花两周全职测试了 Mac 上跑大模型的所有主流框架，结论直接：苹果 AI 软件生态碎片化严重，关键优化技术分散在十几个 fork 里，没有英伟达 CUDA 那样成熟。对想用 Mac 部署本地 AI 的公司，这是个值得警惕的信号。
本地跑大模型的「压缩格式」之争 — MLX 4bit 量化谁更值得用
有人在 Reddit 上比较了在苹果芯片上跑开源大模型（如 Qwen3.6）的几种 4bit 量化方案。这是「本地 AI」玩家关心的小事：量化格式决定模型占用内存、生成速度和回答质量，普通人不必懂，但值得知道这件事正在被认真优化。
16GB Mac 跑起 Gemma 12B，但本地大模型离产品化还很远
一位开发者把 Gemma 12B 的 MLX 内核代码开源，并称在 16GB 的 M5 MacBook Pro 上可摸到 20-30 tok/s 上限。值得我们关心的是，这说明本地模型优化正在深入到底层，但离稳定、可交付的企业应用还有明显距离。
Ollama 让 Mac 一行命令跑本地大模型 — 个人电脑正成为 AI 新入口
Ollama 是开源本地大模型部署工具，一行命令即可在 Mac 运行通义千问、DeepSeek 等，整合苹果 MLX 后推理速度翻倍。当本地部署门槛降到装个 App 的程度，数据不上云的 AI 使用方式可能真正普及。
DFlash 投机解码登陆 Apple Silicon：Qwen3.5-9B 实 现 4.1 倍加速，现已开源（MLX，M5 Max）
开源项目 DFlash 在 M5 Max 上借助 MLX 实现 Qwen3.5-9B 推理 4.13 倍加速，token 接受率高达 89.4%。
Apple's On-Device AI Moat: What It Means for Edge Builders
Apple's privacy-first, on-device AI stack may become the default for builders who need inference without cloud costs .
Gemma 4 audio with MLX
Google's Gemma 4 E2B model can transcribe audio locally on macOS using MLX and a single uv run command.
Hitoku ：基于 Qwen3.5/Gemma 4 的开源 macOS 本地上下文感知语 音助手
开源 macOS 助手 Hitoku 支 持 Gemma 4 与 Qwen 3.5 完全本地运行，可感知屏幕内 容与文档上下文，数据不出本机。