客户突然说:能不能在离线设备上跑 AI?

上周二,我在北京给一个自由摄影师演示自动整理照片,客户却问:“能不能买台设备,在没网的地方识别人和场景?”我一下卡住了。那台普通电脑能用,但体积大、耗电高,不适合他的户外拍摄包。我也有点犯怵:这类需求,我之前确实没算过硬件账。

DeepX 在做什么,又是谁可能用得上

DeepX 是一家做设备端 AI 芯片的创业公司。它这次宣布完成第二代芯片流片,并计划采用 LPDDR5X 与存内计算技术。团队宣称,其芯片可支持最高 1000 亿参数模型推理,功耗低于 5W,同时追求约 6.7 倍性能提升。

具体场景是什么?想象一位深圳的硬件创业者林哲,把人像识别、字幕生成放进无人机或工业检测设备:设备不能一直连云端,也不能拖着笨重电源工作。DeepX 想做的,就是把大模型能力塞进更小、更省电的设备。不过“完成流片”不等于已经大规模量产,现阶段也不能把宣传指标当成普通用户实测结果。

今天想复刻,成本和门槛都不低

如果你想现在照着做,资金可能要按数百万美元级准备,还要等芯片量产、拿到开发板并完成软件适配;前期项目至少按 6 到 12 个月看更现实。技术门槛也很高,不是点一个按钮就能用,通常要懂模型压缩、芯片编译和嵌入式部署。第一步不是购买,而是联系 DeepX 确认开发板、样片时间表与开发者计划,再让方案商评估模型能否迁移到它的运行环境。

需要说清楚:这不是每位独立创作者都需要。现在不试也没事。如果你的需求在普通电脑或现有云服务里已经能解决,贸然转芯片反而会增加成本;而且这次报道主要来自公司披露,量产价格、真实功耗和软件兼容性仍需后续验证。

按现在的阶段,我会这样选

如果你刚起步、主要接文案或设计类订单,我会先用现有电脑加按量付费的云服务,不碰专用芯片,成本通常更容易控制。如果你已经有 1 到 2 个客户,而且客户明确要求离线运行、设备必须低功耗,我会先做一页“功耗、体积、响应速度”预算表,再约 DeepX 或硬件方案商聊样片。如果你在扩规模、准备把能力预装进一批硬件设备,我会重点比较真实样片的功耗、首版延迟、模型迁移时间和批量交付价,必要时并行保留云端方案。