在一个同时显示 10 个“Edit”按钮的 Vue 管理后台里，网页自动化 Agent（能操作网页的软件代理）必须先判断该点哪一个。我们注意到，xingwu-vision-agent 的处理方式不是继续猜坐标，而是用源码地图、页面语义和视觉编号逐层缩小范围。

这是什么

文章以开源项目 vue-element-admin 为测试对象。行内编辑的确认按钮在点击前并不存在于页面中，因此整页截图识别坐标容易受布局变化影响，写死 CSS 选择器又会在模板调整后失效。

这套方案先扫描路由和组件源码，生成站点地图；再读取当前可见页面的 DOM（浏览器中的页面结构），按语义寻找唯一候选；若多个候选得分相同，则给白名单内的元素加上编号，交给视觉大模型（VLM，可从图片理解界面的大模型）选择。仍无法确定时，任务会暂停并转交人工。

其意义不在于替代 Playwright 等浏览器执行工具，而在于补上“该点哪里”的判断层。一次动作还受到动作凭证、页面版本和高风险词拦截约束，避免旧定位信息被误用到已经变化的页面。

行业怎么看

我们认为，这比单纯依赖截图坐标更接近企业真正可用的 Web Agent：中后台界面结构复杂、重复按钮多，语义定位与源码上下文能显著降低误点。但目前方案只在指定示例项目中验证，且仅适配部分 Vue 组件，尚不能证明它能稳定覆盖不同框架、弹窗和复杂业务流。

风险也很明确。源码与实际页面可能不一致，多个候选并行时，视觉模型仍可能选错；转人工则意味着自动化率和效率都会下降。更关键的是，这套架构包含大量定制规则与维护成本，企业若只看到演示成功，可能高估其通用性。

对普通人的影响

对企业 IT：企业部署网页 Agent 时，采购重点会从“能否点击”转向“出错能否被发现、停止和追责”。这会推动权限隔离、审计记录和人工接管成为标配。

对个人职场：后台录入、巡检和测试等重复任务会更适合交给 Agent，但岗位价值将更多转向流程设计、异常判断与结果复核，而不是单纯执行点击。

对消费市场：客服、购票和账号操作等界面可能逐步增加智能代理入口。不过，涉及付款、授权或隐私数据的动作仍需要明确确认，自动化普及不等于无人监督。