12GB 内存的 iPhone 17 Pro Max 跑 30B 大模型、16GB 的 iPad Pro 跑 120B 模型——Inpherio Live 开发者给出的实测速度分别是每秒 10.9 和 4.5 个 token。我们的判断是:这条路的意义不在速度,而在于它用「从闪存流式加载权重」这个工程手段,绕开了 iOS 单应用约 6GB 内存上限那道硬墙。这不是把云端能力做小,而是把模型放回了设备本身。

这是什么

Mixture-of-Experts(MoE)是一种模型结构:总参数量很大,但每个 token 只激活其中一小部分专家网络。在 iPhone 上,开发者改造了 llama.cpp 这个开源推理引擎,让权重直接从闪存按需读取、只把活跃专家留在内存里——这才是大模型能塞进手机的关键,普通稠密模型(每个 token 都用上全部参数)用同样办法跑不动。

产品形态是:把 iPhone 或 iPad 变成局域网内的 AI 服务器,暴露 OpenAI 兼容接口(/v1/chat/completions、/v1/responses、/v1/embeddings、/v1/audio/*)以及 Ollama 兼容接口,现有工具换个 base URL 就能接。也支持本地视觉模型(Qwen2.5-VL、Gemma 3、SmolVLM2)、Whisper 语音转文字、Kokoro 语音合成。内存管理上会自动按需加载模型,最多保温 3 个模型,避免被系统杀掉进程。无账号、无遥测、零字节上传云端。

行业怎么看

值得注意的是它把接口层做成了「OpenAI 兼容」而非自造一套协议。兼容层是本地 AI 生态里少见的务实选择——意味着 LangChain、各类 IDE 插件、脚本工具几乎不用改就能对接,开发门槛从「配 CUDA 环境」降到「填一个网址」。速度也不必苛求:120B 模型每秒 4.5 个 token 属于可用但不适手的水平,而 1.5B 小模型每秒 58.3 个 token 说明日常小任务的体验是够的。

风险也实在。一是这台设备目前仍在等待 Apple 审核,结果未定——App Store 对「自带大模型运行时」这类应用的尺度一向摇摆,历史上同类应用被拒或反复延期的情况不少。二是闪存持续读取的功耗与发热。手机作为长期在线服务器,续航和温控是硬约束,官方基准里明确标注了「从存储读取」,这恰恰说明瓶颈在 IO 而非算力,长时间高负载的稳定性缺乏数据。三是商业模式尴尬:能跑在内存里的小模型、嵌入、语音功能全部免费,只有流式跑大模型要一次性付费,用户凭什么为「手机变服务器」这件事掏钱,本身是个未验证的问题。开发者的基准测试日期标为 2026 年 11 月,是自测、单机型、无第三方复现,我们倾向于把它当工程可行性信号而非性能结论。

对普通人的影响

对企业 IT:合规敏感的资料不必出内网,这件事从「需要采购服务器和运维」变成「可能只需要一台旧 iPad」。真正落地要评估的是设备损耗、并发能力和运维标准化。

对个人职场:文档、会议录音、翻译这类任务可以在手机本地完成,敏感内容不上传云端。前提是这应用先过审,且耗电与发热能被接受。

对消费市场:「不联网的 AI 功能」正从卖点变成默认预期。下一个手机发布会若强调本地推理而非跑分,这条新闻会比它更早成为参照物。