596 秒降到 8 至 11 秒，关键并不是把模型做得更小，而是重做推理链路：量化贡献不到一半提速，运行时和 GPU 后端各带来一次数量级变化，最后裁剪输出字段几乎没有改动模型。我们认为，端侧 AI 的竞争正在从参数规模转向系统工程。

这是什么

这是一次手机端截图识别模型的优化复盘。团队先采用 8bit 量化（把模型权重精度压低，以减少内存和计算负担），耗时降至208秒；换成官方端侧运行时后降至61.9秒；切到 GPU 后端后为17.4秒；最后把输出限制为4个必要字段，耗时进一步降至8至11秒。

值得注意的是，最后一步没有提升模型能力，只减少了需要生成的内容。视觉大模型逐个生成文本片段（Token，模型输出文本的基本单位），输出越完整，耗时越长。约束解码（只在预先允许的结果中生成）还能减少格式错误和返工。

行业怎么看

端侧模型的价值不只是响应更快。支付截图中的余额、订单号和卡号后四位如果不上传，团队就不必持续解释数据为何需要离开设备。但这一路线也有代价：不能调用云端 OCR（光学字符识别，即从图片中提取文字），不能读取全屏权限，只能依靠更小、精度更低的模型承担任务。

风险同样明确。没有固定的测试样本和通过率门槛，速度提升可能伴随识别质量下降；而端侧芯片、内存和散热差异，会让实验室数据难以直接复制到真实用户设备。我们认为，参数规模更像入场券，运行时、后端、解码约束与质量测试，才决定产品是否可用。

对普通人的影响

对企业 IT：涉及内部截图、交易记录或客户资料的应用，可以优先评估端侧处理，但应把识别准确率、重试耗时和设备差异纳入验收，而不是只看跑分。

对个人职场：离线摘要、图片分类等高频小任务可能更快，也更少依赖云端服务；但复杂识别仍可能需要联网，权限与隐私设计会更直接影响使用体验。

对消费市场：手机功能会更多在本地完成，但端侧模型不等于天然更准。消费者最终感受到的，将是响应速度、识别质量与隐私承诺能否同时成立。