---
title: "智能体会点鼠标了，权限的边界还没定"
date: 2026-11-22
category: AI大模型
site: 脑机网
canonical: https://aiai.cafe/a/njw-gemini-computer-use-1122
language: zh-CN
---

# 智能体会点鼠标了，权限的边界还没定

> Gemini 在 Mac 的后台窗口里干活，窗口不用切到前台。

Gemini 在 Mac 的后台窗口里干活，窗口不用切到前台。

屏幕还是那块屏幕。

谷歌给这项能力的定性是模型侧，不是新硬件。这句话挡住另一种读法：不是给电脑加了一个外设，是模型自己学会了看屏幕、动鼠标。硬件没变，变的是谁在操作。这台电脑还是原来那台，界面还是原来那套，屏幕上多了一个会动手的东西。

腾讯的 WorkBuddy 也上线了电脑操控，名字叫 Computer Use。

公开描述有四句：能识别当前页面，能看懂客户端界面，能进行点击、输入、滚动，不需要目标软件开放接口。前三句说的是会做什么，第四句说的是不需要谁先开门。四句里没有一句讲它做不了的界面，也没有一句讲遇到弹窗怎么办。能力描述到“能做什么”为止。

四句话，三句能力，一句条件。

## 接口是一道门

软件和软件说话，走的是接口。

接口是一道门。门上有锁，钥匙由软件方发；钥匙上还写着能开哪几扇门、一天开几次、能不能带别人进。要走这道门，先得敲门、报名字、等对方把权限配好。配不配、配多少，软件方说了算。文档里还会写清楚：哪些数据能读，哪些只能写，出错的时候返回什么。这些是接口的边界，也是责任的落点。

这套流程慢，但边界清楚。

慢在哪？一个软件不开接口，外面的程序就进不去；开了接口，也只是开了被允许的那几扇门。想让它做一件接口没写的事，得回去改接口、发版本、等升级。这些都是成本，也都是边界。接口的慢，是把“能不能”的问题前置了：先谈好，再动手。

边界写在文档里。

## 屏幕上没有门

屏幕不是接口。

屏幕上只有画出来的东西：按钮、输入框、菜单、弹窗。它们按人眼的高度排列，不按程序的调用方式排列。一个智能体要看懂屏幕，得先认出“这是一个按钮”，再判断“这个按钮现在能不能按”。认错一个按钮，动作照样会发出去。

这条路上没有锁，也没有钥匙。

因为不需要目标软件开放接口——软件方没有参与，也就没有发出任何许可。智能体拿到的不是一把写着范围的钥匙，是一块能显示、能点击的屏幕。屏幕上有多少东西，它就有多少东西可碰。屏幕也不认识谁在点，它只认坐标和动作，人点是这样，程序点也是这样。

碰得到，不等于碰得对。

碰得到的东西里，有些点错了可以撤销，有些点下去就收不回。接口会把“这条命令危险”写在文档里，屏幕不会。屏幕只显示一个按钮，按下去会发生什么，得由看懂屏幕的那一方自己判断。

## 谁点的同意

接口那条路上，同意是软件方给的。

屏幕这条路上，同意是谁给的？公开描述里没有回答。四句话里，三句讲能力，一句讲不需要接口，没有一句讲授权：谁开的、开了多大、怎么关。能读到的就这些。

没有写，不等于没有。

产品内部可能有自己的授权设计，只是没有公开；也可能授权就是“把它装在这台电脑上”。两种都说得通，公开信息里分不出来。分不出来的时候，只能写分不出来。这两种说法差得很远：前者有开关，后者只有一句“装上了”。开关在哪，描述里没给。

## 后台的两种含义

后台这个词，有两种读法。

一种是窗口不在前台：屏幕上开着别的软件，那个窗口在底下，照样能点。另一种是进程在后台：没有人盯着，它自己跑。两种读法都指向同一件事——操作发生的时候，人不一定在看。第一种是可见的后台，人切一下窗口就能看见；第二种是不可见的后台，人不在屏幕前，也不一定知道它跑过。

人不看，是效率，也是盲区。

看得见的时候，点错了能立刻按住鼠标；看不见的时候，错要到结果出来才知道。自动化把人的位置从操作者挪到了验收者，验收是事后的事。事后，就是代价已经发生。这一步挪得不响，挪完就回不去了。

后台操作还有一个副作用：过程里没有人的手。人点鼠标，手在动；程序点鼠标，手不在。事后回看，只有结果，没有过程。

## 看页面和看界面

四句话里，有两句是分开的：识别当前页面，看懂客户端界面。

页面和界面，难度不一样。页面有现成的结构，谁在上谁在下、哪里能点，都写在结构里；客户端界面多半只有画出来的样子，按钮就是一块颜色，输入框就是一条线。看懂前者靠读，看懂后者靠认。读错了会报错，认错了不会——画面总会给出一个看起来合理的结果。

认，比读容易出错。

这也是为什么“看懂客户端界面”被单独写了一句。它不是“识别页面”的同义词，是另一件事：没有结构可读的时候，只能从画面上判断。画面不会告诉你它能不能点，只会告诉你它长什么样。

## 两个产品，一种形状

一个是谷歌的 Gemini，跑在 Mac 上；一个是腾讯的 WorkBuddy，做的是电脑操控。

两家给的说法不一样，形状是一样的：模型看着屏幕，动手点。

形状一样，意味着这套能力不绑在某一块硬件上。Gemini 这一条，谷歌特意说明是模型侧能力，不是新硬件；WorkBuddy 这一条，强调的是不需要接口。一个说能力长在模型里，一个说能力不用对方配合，两句话指向同一处：门槛不在对方，在自己。这也解释了为什么两家都走到这里：模型的眼睛够用了，手就伸到了屏幕上。

自己这一侧，恰恰是最难写清楚的一侧。

## 边界还没画

接口时代，边界画在接口文档里。

文档写着能调什么、不能调什么，写着一分钟调几次，写着出错返回什么。这些条款不完美，但它们是事先写好的，能被审计、被比对、被追责。屏幕时代，这些条款还没有对应物：点一下算不算一次调用、连着点很多下算不算越界、点开的东西能不能留痕，都要重新定。

三个问题，一个都还没有公开答案。

留痕这件事，接口的调用一般会留下记录：时间、参数、调用方。屏幕操作本身不产生这种记录，要看产品有没有在外面补一层。记录放在哪、留多久、谁能调，又是三件事。

这不是模型能力的问题。模型能看懂、能点准，说明它已经跨过了“会不会”这一关；剩下的分寸，不在模型的参数里，在产品把哪一段交给它、系统记不记它的动作、软件方认不认这条路径。

模型只负责看懂和点准。剩下三件事，一件都不在这两段描述里。

所以现在能确认的，只有动作本身。

Gemini 在 Mac 的后台窗口里点，WorkBuddy 不需要对方开接口。手已经有了，授权那一段还空着。

**免责声明：本文基于公开信息撰写，仅供读者参考，不构成任何投资建议。**

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-gemini-computer-use-1122
本内容仅供参考，不构成投资建议。
