一块约 7 美元的 ESP32-S3 芯片,正在被开源项目改造成 AI 操作 iPhone 的“眼和手”:通过 AirPlay 接收屏幕画面,再以 USB 触控设备模拟点击和滑动。值得关心的是,移动端自动化第一次出现低成本、可复用的硬件路径,但绕过软件检测并不等于获得合法操作权。

这是什么

传统 iPhone 自动化通常依赖 Mac、开发者证书、Appium 或 WebDriverAgent,还要维护容易失效的签名和代理服务。开源项目 onehumanbeing/esp32-iphone-agent 改走硬件接口:ESP32-S3 模拟 Apple TV 接收屏射,让 AI 看到页面;连接手机后,它又被系统识别为多点点触控设备,把模型生成的坐标和手势转成输入事件。

这套方案不需要在手机中安装控制程序,也不要求越狱,因此能避开一部分针对注入、辅助功能和异常事件序列的检测。不过,“像真实设备”是技术特征,不是业务授权;文章中的“眼睛”和“手”也只描述输入输出链路,并不意味着模型可以安全完成订票、转账等任务。

行业怎么看

支持者会把它视为真机测试、个人自动化和设备端 Agent(能规划并执行任务的 AI)的低成本原型。企业也能用它减少部分真机农场投入,尤其适合反复验证同一操作流程。

风险同样明确。银行和支付应用仍可能从设备环境、账号行为、交易模式及服务端风控识别异常,硬件注入不能消除服务端规则;频繁点击、批量账号操作还可能违反服务条款。更关键的是,一旦设备被用于未经确认的支付、发帖或数据操作,责任归属、隐私采集和审计能力都比普通软件工具更难界定。文章强调“零特征捕获”也不严谨:应用层可能看不见传统注入特征,但网络、设备和服务端仍可留下记录。

对普通人的影响

对企业 IT:硬件方案可能降低移动端测试成本,但上线前仍需做权限隔离、操作确认、日志留存和第三方合规评估,不能把“绕过检测”写进生产方案。

对个人职场:它让重复性的手机操作更易自动化,例如录入和回归测试;但涉及账号、支付或敏感信息时,保留人工确认仍是必要边界。

对消费市场:消费者会接触到更多能代操作手机的服务,真正需要关注的不是设备多像真人,而是服务是否明确告知操作范围、能否随时撤销,以及数据由谁保存。