这两年看过太多”AI 帮你点外卖”的演示视频了。屏幕上的手指流畅地滑动、点击、下单,配着轻快的背景音乐,看完让人心痒。然后你自己去试,发现它连”打开设置里的 Wi-Fi 列表”这一步都能卡住。
所以当我看到阿里这次发布 Qwen-UI-Agent 的方式时,愣了一下:他们没有主推那种漂亮的演示,而是主推了一个数字——在 100 多台真实手机、150 多个真实 App 上构建的基准 MobileWorld-Real 里,成功率 92.2%。
过去 GUI 智能体(也就是能替你操作界面的 AI)的评测,大多跑在模拟器或者高度受控的沙盒里。这就像考驾照只考科目一:题库是固定的,界面是干净的,没有突然弹出的开屏广告,没有”升级到最新版本”的强制弹窗,没有网络卡住时那半秒空白。
Qwen-UI-Agent 这次给出的一组数字是:MobileWorld 82.1%,自建的 MobileWorld-Real 真机基准 92.2%,Android 日常任务接近满分;电脑端 OSWorld-Verified 79.5%;网页端 WebArena 在对比模型里排第一。
这里面最值得琢磨的,恰恰不是那个 92.2%,而是它同时公布了模拟环境和真机环境两组分数。愿意把”模拟”和”真实”分开摆出来,说明团队自己也清楚这两者之间有一条鸿沟。150 多个 App、100 多台真机的环境搭建,本身就是笨活、脏活——但正是这种笨活决定了模型能不能从”演示”走到”能用”。
我一直觉得,AI 落地过程中最被低估的成本,不是算力,是”和现实世界对接的那些烂摊子”。
第一个是批量动作。传统 GUI 智能体的循环是”看一眼截图 → 决定点哪里 → 点 → 再看一眼”,每一步都要过一遍模型,慢且贵。Qwen-UI-Agent 支持单次决策输出一批动作,把轨迹显著缩短。这个思路很务实:人自己操作手机时,也不是每点一下都要重新思考的,很多连续动作是”肌肉记忆”级别的批处理。
第二个是它会主动停手。官方描述里写得很明确:面对违法或高风险请求直接拒绝并终止任务;涉及支付、删除数据、隐私授权这类敏感环节,在关键步骤暂停,等你确认。
这一条我觉得比任何跑分都重要。一个能真正操作你手机的 AI,权限大到离谱——它能看到你的验证码,能点掉你的余额,能删掉你的相册。在这个前提下,“能力天花板”根本不是第一优先级,“在哪里刹车”才是。愿意把刹车写进模型能力清单,而不是当成外挂的安全策略,说明团队想清楚了这个产品要卖给谁。
同一天智谱的 AutoGLM 2.0 走了另一条路:云手机。不在你本地设备上跑,而是在云端起一台虚拟手机替你操作,绕开了本地硬件和系统权限的限制。两条路线的取舍很清楚——真机路线体验更连贯但对适配要求高,云手机路线部署容易但涉及账号登录云端的信任问题。有意思的是,两家同时发力,说明这个方向已经不是某一家的孤立赌注了。
过去一年 Agent 的主战场其实是”代码域”——Claude Code、Codex、ZCode,本质都是在文本和文件系统里干活。文本世界是 AI 的舒适区:结构清晰、可回滚、错了改一行就是。
而 GUI 是另一个世界。它没有 API,只有像素;它不可回滚,点错了钱就出去了;它每天都在变,一次 App 改版就能让所有积累的经验失效。所以 GUI 智能体如果真的走通,含义比”多一个功能”大得多:它意味着 AI 能进入那些没有接口、没打算开放、也永远不会为 AI 改造的软件世界——那恰好是普通人日常生活的绝大部分。
但我保持一份清醒。92.2% 是在受控条件下的成绩,日常使用中 App 更新、系统弹窗、网络抖动都是变量。而且更现实的问题是:手机厂商和 App 厂商愿不愿意让别家的 AI 在自家界面上随便点?这是技术问题之外的博弈,往往比技术更难解。
对我们这些写字、做站的人来说,短期最实用的一层可能是重复性的界面劳动:批量把文章搬到某个不提供 API 的后台、批量给旧图重新起标题、把数据从一个不肯导出的平台一条一条抄出来。这类活儿单次价值不高,但极其耗人,而且长期没有好工具。
如果 GUI 智能体真能稳定干这些,它对生产力的改变,会比又一个”更强的模型”来得更直接。我愿意等它再成熟半年,然后拿我自己那堆搬不动的旧数据去试试。
正在加载评论...