12 除以 3.61,得 3.32。
这是 METR 的倍增周期。
3.61 个月翻一倍,一年 12 个月,就是 3.32 次。2 的 3.32 次方,约等于 10。一年十倍,不是修辞,是乘方。
一年十倍。
这个数不是发布会上的 PPT,是一家第三方评测机构在 11 月 20 日更新的测量结果。它量的不是考试分数,是模型能独立做完多长的任务:给一个目标,不给提示,看它能不能自己走到终点。任务越长,说明它在没有人接手的情况下能往前走多远。题目会被背下来,时长不会,这是它比跑分难刷的地方。METR 不卖模型,也不做排行榜。
它不卖模型。
它量的是什么
题库叫 TH1.1 和 TH2。任务有明确的起止,结果可验证,做不完就是做不完。
在这个任务集上,模型能完成的任务时长,约每 3.61 个月翻一倍。95% 的置信区间是 2.08 到 4.94 个月,宽得能装下两种完全不同的叙事。此前单独测 TH1.1,得到的数字是 105 天;加入 TH2 之后变成 3.61 个月,约 110 天。三个数放在一起,方向没变,速度略有出入。区间没有收窄,说明测量本身还在晃。
110 天,不到四个月。
十倍怎么来的
12 个月除以 3.61 个月,得 3.32 次。
这就是十倍的来源。
2 的 3.32 次方,约 10.0。一道除法,一次乘方,十倍就出来了。这个算法没有秘密,秘密在 3.61 这个数上:它是不是稳定,能稳定多久,谁来复核。乘方只负责放大:周期稍微一动,一年算出来的倍数就跟着动。所以真正要盯的不是“十倍”,是 3.61 能不能站住。
前提是周期不变。
现实里没有这么整齐。区间下端 2.08 个月,上端 4.94 个月,快慢差了一倍多。3.61 是落在中间的估计值,不是每个月都会兑现的时刻表。按它算出来的十倍,是一条直线的延长线,不是承诺。直线在纸上,测量在实验室里,两者之间隔着一年的新任务,也隔着一年里会不会有人把题库换掉。
直线不是承诺。
另一个任务集
METR 还切了一个可验证子集,TH2。
在这个子集上,周期只有 1.65 个月。
12 除以 1.65,得 7.27 次;2 的 7.27 次方,约 154 倍。
154 倍很抓眼。
但它和十倍不是同一道题。十倍量的是 TH1.1 与 TH2 合在一起的任务集,154 倍只量 TH2,也就是有确定对错、能自动判分的那一部分。子集更小,题目更规整,进步也更快。两个数并排放,很容易读成同一个东西涨了 154 倍。差的不只是数字,是分母:一个分母是两个任务集的并集,另一个分母只是其中一部分。
不是同一个东西。
能自动判分的任务,恰好是模型进步最快的地方。写代码跑测试,有对错;做数学题,有答案;改仓库里的 bug,测试会告诉你过没过。这些任务翻得快,不等于所有任务都翻得快。那些没有标准答案的活,比如判断一份合同哪里有问题,题库给不出分数,也就进不了这条曲线。154 倍说的是能测的那一块。
两个数要分开说。
合在一起一年约十倍,可验证子集一年约 154 倍。谁把 154 倍说成“能力涨了 154 倍”,就是把子集当成了全集。分母换了,结论就换了。
贵一倍,晚四个半月
这次多了一个维度。
它叫生命周期成本。
同一道题,有的只要一个干净容器就能跑,有的要搭环境、装依赖、跑满100 次评分。后者比前者贵 2.9 倍。模型在这类任务上的时间视野,也差 2.9 倍,相当于 1.5 次倍增。贵和慢,是同一个数的两种写法:环境多花的钱,最后都记在模型的表现上。这道题的难度没有变,变的是把它做完要付多少。
贵的题,也想得短。
更硬的一条是:对同等长度的任务,成本每翻一倍,模型达到 50% 成功率的时间约推迟 4.6 个月。4.6 个月,比一个倍增周期还长。两件本来分开的事被绑在了一起:模型在进步,环境在变贵;进步的速度,正好被变贵的速度吃掉一截。同一代模型,换个更贵的环境,时间视野就往回退,退掉的距离比一次倍增还多一点。
一进一退。
任务时长与生命周期成本的相关性,R² 是 0.82。两条曲线几乎贴着走。
于是“能力”要拆成两半:一半是模型能想多远,一半是这道题允许它想多久。后一半由环境决定,也由账单决定。
1.5 次倍增对得上
这个数可以验算。
2 的 1.5 次方,约 2.83。METR 给出的数是:成本高 2.9 倍的子集,时间视野也差 2.9 倍,相当于 1.5 次倍增。1.5 次倍增正好落在 2.83 上。两个数对得上,说明这套换算内部自洽,不是拿一个数去凑另一个数。倍增周期在这里当尺子用:量的不是“更强”,是“多长”。用时长量能力,好处是单位统一,坏处是所有任务都得先变成能计时的任务。
尺子的刻度是时长。
换成天数也一样:1.5 次倍增,就是把时间视野乘 2.8。成本翻一倍,退 4.6 个月,等于把尺子往回拨一格多。
它给自己打高分
METR 还测了判断力。
让模型评审自己或更强模型的产出,它会系统性高估质量。Claude Opus 5.5 给 Astra 任务的评分,平均比人类高约 0.2 分,满分 1 分。0.2 分听着不多,可它是系统性的偏差,方向一致,不是随机噪声。噪声会互相抵消,偏差不会,它会顺着评分表一路传下去。
方向一致,就会累积。
如果评分被用来训练,这 0.2 分会被下一轮学进去。
在 LMCA 基准上,所有公开模型的一致性,都低于专家花 15 分钟做出的估计。15 分钟,人类专家。模型能做完 200 小时的任务,却评不准一段 15 分钟能看完的东西。两件事不冲突,它们测的不是同一种能力:一个测能不能做,一个测知不知道自己做得对不对。同一个东西,专家看两遍结论一样,模型看两遍未必。
做得到,不等于看得准。
2027 年的那个阈值
按 3.61 个月朴素外推,2027 年 7 月,模型有 50% 的概率完成这个任务集里最长的评分阈值,200 小时的任务。
50% 是关键词。
不是“将完成”,是“有一半概率”。外推也不是预测,是把现在的斜率延长到明年夏天。斜率会变,任务集会换,测量方法也会改。METR 给的是一个条件句:如果这条线不变,那么到那时是一半一半。200 小时,大约5 个工作周,一个任务连着做五个星期,中间不需要人接手。
条件句,不是结论。
分母换了一次
回到那道除法。
3.32 次倍增成立,十倍成立。变的是分母。
速度没停,可测的那部分翻得更快,成本成了新的分母。
3.61 是合起来的周期,1.65 是可验证子集的周期。两个分母画在一张图上,一条缓,一条陡,越往后分得越开。
过去分母是参数量、数据量、训练算力:模型更大、数据更多、卡更多,能力就往上走。这一次,分母里多了一项,跑完一道题要花多少钱。同样的模型,环境搭得糙,时间视野就短;环境搭得细,它就多想一会儿。成本翻倍,退 4.6 个月,这条关系比十倍更值得记,因为它是可以被人为改变的。
十倍在涨,分母也在涨。
可验证子集那边是 154 倍,合在一起这边是十倍。两个数都不是终点,是两次除法。
分母一旦是钱,曲线就分叉了:一条是模型自己走出来的,一条是钱包允许它走出来的。图上两条都叫能力。
200 小时,标在 2027 年 7 月。
旁边写着 50%。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。