CHI 2025（人机交互领域顶级学术会议）上月公布入选名单,腾讯 AppAgent 论文在列,论文编号 arXiv:2312.13771。我们读完这篇论文的判断是：这是中国大厂在'手机 AI 助手'方向上的最新一次系统性押注,但核心创新'先学后用'设计,在真实 App 上的可用性还有不小疑问。

这是什么

AppAgent 是一个让多模态大模型（能同时看图和读文的大模型）像人一样操作手机 App 的框架。它不调用 App 后端接口,而是看着截图、点按钮、滑屏幕完成任务。

核心设计是把'用 App'拆成两个阶段：第一阶段叫探索,让 AI 自主摸索某个 App 的界面,把每个按钮的用途写成一份自然语言笔记;第二阶段叫部署,实际任务时调出笔记,按笔记操作。关键差别在于笔记可以反复复用,新 App 不必每次从零学起。

输入端,模型看到的是一张标好号的截图 —— 系统把可点击元素标红编号,AI 只输出'点几号',不用算像素坐标。这等于把最难的位置识别外包给了 Android 自带的解析树（系统自动生成的界面结构文档）。

行业怎么看

支持方认为,'先学后用'的分阶段设计,缓解了此前方案每次遇到新 App 都得从零摸索的痛点;让模型只看图选数字、把定位精度外包给系统解析树,也降低了训练门槛。

但反对意见同样值得听。第一,这套方案深度绑定 Android 无障碍接口 —— 自定义控件多的 App,解析树抓不到元素,整套流程直接失灵。第二,探索阶段依赖大量试错,论文也坦承'动作执行了界面没变'的情况很常见,真实 App 复杂度远高于测试场景。第三,CHI 2025 是人机交互顶会,影响多在学术圈,距离规模化商用还有距离。

对普通人的影响

  • 对企业 IT：短期内别当成采购清单,它更多是技术信号 —— 手机端 AI 操作离稳定商用还远。
  • 对个人职场：现阶段手机 AI 能做的是'看图问答'这类轻任务,复杂操作暂时还得自己来。
  • 对消费市场：未来一两年,手机厂商或超级 App 可能内置类似能力,但早期版本在复杂 App 上大概率频繁卡壳。