Inpherio Live
iPhone 被改成私有 AI 服务器 — 端侧推理开始绕开内存天花板
Inpherio Live 正在申请 App Store 上架,通过改造 llama.cpp 把 MoE 权重从闪存流式读取、活跃专家留在内存,让 12GB iPhone 跑 30B 模型、16GB iPad 跑 120B。它提供 OpenAI 兼容接口、Whisper 语音转写与 Kokoro 语
找到 1 篇关于此标签的文章
Inpherio Live 正在申请 App Store 上架,通过改造 llama.cpp 把 MoE 权重从闪存流式读取、活跃专家留在内存,让 12GB iPhone 跑 30B 模型、16GB iPad 跑 120B。它提供 OpenAI 兼容接口、Whisper 语音转写与 Kokoro 语