端侧推理

找到 2 篇关于此标签的文章

700 行 C 代码跑动 Google 最新大模型 — 单人项目跑赢 llama.cpp

开源项目 gemma4.c 把 Google Gemma 4 E2B 塞进 700 行 C 代码，普通 CPU 上 25.9 token/s 跑赢 llama.cpp。值得关心的是：AI 推理层工程门槛正被一位开发者踢开，过去一团队的事现在一个人就够。

一位开发者在 iPad 上训练并运行了自己的「世界模型」（让 AI 实时预测并生成游戏画面的技术），任意一张照片都能变成可操控的驾驶游戏场景。这件事本身还很粗糙，但它说明：原本只跑得动在数据中心的 AI 游戏引擎，正在快速向消费级设备迁移。