Gemini 在 Mac 的后台窗口里干活,窗口不用切到前台。
屏幕还是那块屏幕。
谷歌给这项能力的定性是模型侧,不是新硬件。这句话挡住另一种读法:不是给电脑加了一个外设,是模型自己学会了看屏幕、动鼠标。硬件没变,变的是谁在操作。这台电脑还是原来那台,界面还是原来那套,屏幕上多了一个会动手的东西。
腾讯的 WorkBuddy 也上线了电脑操控,名字叫 Computer Use。
公开描述有四句:能识别当前页面,能看懂客户端界面,能进行点击、输入、滚动,不需要目标软件开放接口。前三句说的是会做什么,第四句说的是不需要谁先开门。四句里没有一句讲它做不了的界面,也没有一句讲遇到弹窗怎么办。能力描述到“能做什么”为止。
四句话,三句能力,一句条件。
接口是一道门
软件和软件说话,走的是接口。
接口是一道门。门上有锁,钥匙由软件方发;钥匙上还写着能开哪几扇门、一天开几次、能不能带别人进。要走这道门,先得敲门、报名字、等对方把权限配好。配不配、配多少,软件方说了算。文档里还会写清楚:哪些数据能读,哪些只能写,出错的时候返回什么。这些是接口的边界,也是责任的落点。
这套流程慢,但边界清楚。
慢在哪?一个软件不开接口,外面的程序就进不去;开了接口,也只是开了被允许的那几扇门。想让它做一件接口没写的事,得回去改接口、发版本、等升级。这些都是成本,也都是边界。接口的慢,是把“能不能”的问题前置了:先谈好,再动手。
边界写在文档里。
屏幕上没有门
屏幕不是接口。
屏幕上只有画出来的东西:按钮、输入框、菜单、弹窗。它们按人眼的高度排列,不按程序的调用方式排列。一个智能体要看懂屏幕,得先认出“这是一个按钮”,再判断“这个按钮现在能不能按”。认错一个按钮,动作照样会发出去。
这条路上没有锁,也没有钥匙。
因为不需要目标软件开放接口——软件方没有参与,也就没有发出任何许可。智能体拿到的不是一把写着范围的钥匙,是一块能显示、能点击的屏幕。屏幕上有多少东西,它就有多少东西可碰。屏幕也不认识谁在点,它只认坐标和动作,人点是这样,程序点也是这样。
碰得到,不等于碰得对。
碰得到的东西里,有些点错了可以撤销,有些点下去就收不回。接口会把“这条命令危险”写在文档里,屏幕不会。屏幕只显示一个按钮,按下去会发生什么,得由看懂屏幕的那一方自己判断。
谁点的同意
接口那条路上,同意是软件方给的。
屏幕这条路上,同意是谁给的?公开描述里没有回答。四句话里,三句讲能力,一句讲不需要接口,没有一句讲授权:谁开的、开了多大、怎么关。能读到的就这些。
没有写,不等于没有。
产品内部可能有自己的授权设计,只是没有公开;也可能授权就是“把它装在这台电脑上”。两种都说得通,公开信息里分不出来。分不出来的时候,只能写分不出来。这两种说法差得很远:前者有开关,后者只有一句“装上了”。开关在哪,描述里没给。
后台的两种含义
后台这个词,有两种读法。
一种是窗口不在前台:屏幕上开着别的软件,那个窗口在底下,照样能点。另一种是进程在后台:没有人盯着,它自己跑。两种读法都指向同一件事——操作发生的时候,人不一定在看。第一种是可见的后台,人切一下窗口就能看见;第二种是不可见的后台,人不在屏幕前,也不一定知道它跑过。
人不看,是效率,也是盲区。
看得见的时候,点错了能立刻按住鼠标;看不见的时候,错要到结果出来才知道。自动化把人的位置从操作者挪到了验收者,验收是事后的事。事后,就是代价已经发生。这一步挪得不响,挪完就回不去了。
后台操作还有一个副作用:过程里没有人的手。人点鼠标,手在动;程序点鼠标,手不在。事后回看,只有结果,没有过程。
看页面和看界面
四句话里,有两句是分开的:识别当前页面,看懂客户端界面。
页面和界面,难度不一样。页面有现成的结构,谁在上谁在下、哪里能点,都写在结构里;客户端界面多半只有画出来的样子,按钮就是一块颜色,输入框就是一条线。看懂前者靠读,看懂后者靠认。读错了会报错,认错了不会——画面总会给出一个看起来合理的结果。
认,比读容易出错。
这也是为什么“看懂客户端界面”被单独写了一句。它不是“识别页面”的同义词,是另一件事:没有结构可读的时候,只能从画面上判断。画面不会告诉你它能不能点,只会告诉你它长什么样。
两个产品,一种形状
一个是谷歌的 Gemini,跑在 Mac 上;一个是腾讯的 WorkBuddy,做的是电脑操控。
两家给的说法不一样,形状是一样的:模型看着屏幕,动手点。
形状一样,意味着这套能力不绑在某一块硬件上。Gemini 这一条,谷歌特意说明是模型侧能力,不是新硬件;WorkBuddy 这一条,强调的是不需要接口。一个说能力长在模型里,一个说能力不用对方配合,两句话指向同一处:门槛不在对方,在自己。这也解释了为什么两家都走到这里:模型的眼睛够用了,手就伸到了屏幕上。
自己这一侧,恰恰是最难写清楚的一侧。
边界还没画
接口时代,边界画在接口文档里。
文档写着能调什么、不能调什么,写着一分钟调几次,写着出错返回什么。这些条款不完美,但它们是事先写好的,能被审计、被比对、被追责。屏幕时代,这些条款还没有对应物:点一下算不算一次调用、连着点很多下算不算越界、点开的东西能不能留痕,都要重新定。
三个问题,一个都还没有公开答案。
留痕这件事,接口的调用一般会留下记录:时间、参数、调用方。屏幕操作本身不产生这种记录,要看产品有没有在外面补一层。记录放在哪、留多久、谁能调,又是三件事。
这不是模型能力的问题。模型能看懂、能点准,说明它已经跨过了“会不会”这一关;剩下的分寸,不在模型的参数里,在产品把哪一段交给它、系统记不记它的动作、软件方认不认这条路径。
模型只负责看懂和点准。剩下三件事,一件都不在这两段描述里。
所以现在能确认的,只有动作本身。
Gemini 在 Mac 的后台窗口里点,WorkBuddy 不需要对方开接口。手已经有了,授权那一段还空着。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。