屏幕上是一串银行余额。
不属于看到它的那个人。
这是 Meta 内部智能体 Muse 的一次输出。员工把这件事反映了出来:它“串出”了其他用户的消息、银行余额与订单信息。
三条信息,两条和钱有关。
Meta 称相关输出并非真实数据。
三条回来的信息
消息、余额、订单,这三样在系统里不是一类东西。
消息是通信记录,余额是账户状态,订单是交易流水。三样东西各有各的归属,各有各的读取条件,平时也各有各的页面。
一条查询能把它们一起带出来,从结果看,那道分界线在那一次输出里没有起作用。
分界线失效,和答错一句话不是一回事。
答错是内容不对,串出是对象不对。前者改一句话就能补,后者要改的是它能碰到谁。
一个人查自己的订单,看到自己的订单,这叫功能正常。一个人查自己的订单,看到别人的余额,这叫权限越过了它该停的地方。两次操作在键盘上没有区别,在系统里差着一整层。功能测试测的是第一条,权限测试测的是第二条。前者天天有人跑,后者常常要等出了事才有人跑。
一句话回应了两件事
Meta 称相关输出并非真实数据。
这句话回应的是内容真假。
员工反映的是另一件事:这些内容该不该出现在这个界面上。
两句话可以同时成立。
一个人在自己的窗口里看到别人的余额,哪怕这个数字是假的,他看到的东西也不该在那里。真假是一层,边界是另一层。前一层可以争论,后一层没什么可争的,因为它是设计出来的,不是算出来的。设计的东西可以检查,算出来的东西只能抽样。抽不到的样本,就留在那里。
花旗改了一行条款
花旗更新条款:客户对通过第三方 AI 工具访问账户产生的活动负责,即使被黑。
“即使被黑”四个字,把被盗从免责事由里拿了出来。
条款管的是入口。钱从哪条路出去,责任就跟着那条路走。这条路以前是网银,是手机银行,是柜台;现在多了一条,是客户自己装的某个 AI 工具。四条路里,前三条的入口是银行自己开的,第四条不是。入口换了人开,责任的落点也跟着换。这条路开得越方便,条款越要写清楚谁担。
银行不评价这个工具好不好用。
它只在合同里写清楚:这条路是你开的,路上的事你担。
这句话听着冷,但它把一件事说明白了:账户的边界不在银行的门上,在客户授权的那一下。
关进小房间的模型
OpenAI 把 GPT-6 Cyber 限制为仅授权安全研究员可用。
这一次,模型能做的事越多,能碰到它的人就越少。这是把权限收在模型这一端,收的方式是一份名单。名单的长短,就是这道权限的宽度。宽一寸,能碰到它的人就多一层。名单是权限里最便宜的一种做法,也是最粗的一种。名单能挡住人,挡不住接口。
三家公司,三个位置。
Meta 在数据端,OpenAI 在模型端,花旗在合同端。三家没有商量过,动作却指向同一处:先把能碰到的范围画出来,再谈能做什么。这三个位置,正好是智能体一次操作要经过的三道门:数据从哪来,模型能做什么,出了事谁担。三道门里,最容易被跳过的是第三道,因为它不出现在产品文档里。
聚合数据的另一头
ChatGPT 启动 Businesses 内测。企业可以认领主页、更新信息、接入商品目录,查看在 ChatGPT 内被提及、点击与发现的聚合数据。平台周活约 12 亿。美国部分合规电商可以部署带标签的 Business Agents。内测的意思是,这套东西还没有对所有商家开放;带标签的意思是,这类账号在界面上会被标出来。
12 亿是一个平台级的数字。落到一家企业身上,它看到的只有三个词:提及、点击、发现。
三个词都是聚合过的。
聚合的意思是,商家看到 1000 个人点过,看不到是哪一个人点的。
同一个星期,一头把个体抹掉,一头把个体露出来。抹掉的那头是生意,露出来的那头是事故。
这条线的刻度就在这里:能不能看见“某一个”。看见一个人,和看见一类人,中间隔着的不是技术难度,是权限设计。聚合是产品语言,个体是审计语言。两套语言在同一套系统里跑,得靠权限隔开。隔不开的时候,商家看到的就是一个人,不是 1000 个人。这两套语言之间没有翻译器,只有权限。
读、写、代操作
苹果在招“主动式智能体”工程师。
岗位描述里的三个动词是:写代码、控应用、代操作设备。
三个动词,三种权限。写代码动的是文件,控应用动的是界面,代操作设备动的是这台机器本身。文件可以回滚,界面可以重来;设备被代操作的那一下,物理世界里发生的事没法回滚。权限分级通常就按这个来:可读,可写,可代。三级的界线不在模型里,在接口上。
从读一封邮件,到改一份文件,到替你按下确认键,中间隔着两级。第一级是看,第二级是改,第三级是代。
三级里,最难撤回的是第三级。
一个智能体看错了,你还能改回来;它按错了,钱可能已经出去了。
招聘启事只写能力要求,不写权限边界。这不是苹果一家的问题。能力写在前面,边界写在后面,是所有做智能体的团队共同的顺序。顺序倒过来,招聘页会很难看:先说要几个人、能碰哪些系统,再谈技术。难看的招聘页,大概招不到最想做这件事的人。所以边界常常是后补的,补在出了事之后。
权限写在能力前面
把这一周的四件事排开:一次串号,一条条款,一次收权限,一份招聘启事。
四件事指向同一处:智能体能做什么,取决于它能碰到什么。能力是结果,访问是前提。
能力可以演示,权限只能预先设定。
一个能读邮件的智能体,和一个能读邮件又能发起转账的智能体,能力差一级,后果差很多级。中间那一级不叫“更聪明”,叫“多了一个接口”。能力是连续的,接口是离散的。能力的进步按分数算,接口的增加按个数算。分数可以慢慢涨,个数一加就是一级。
接口是设计出来的,不是训练出来的。
训练能让模型学会怎么点,设计才能决定它能点到哪。学会是模型的事,允许是产品的事。
这句话放在产品上,是一张权限表;放在合同上,是一行条款;放在招聘上,是三个动词。
第三个动词
苹果那份招聘启事里,第一个动词是写代码,第二个是控应用,第三个是代操作设备。
第三个动词的意思是,这台设备可以不在人手上。
三个动词之间,隔着的就是权限。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。