挑一个模型,挑一个基准版本,让两家机构各跑一遍,看数字怎么动。
这个月公开发生了两次。腾讯称混元4在Terminal-Bench 4.0上得44.4;Snorkel AI维护的独立榜单上,同一个模型、同一套任务,是39.1。月之暗面的Kimi K3.1 Pro在自家披露里是65.7,在一个聚合站上是63.6,在另一个上是60.9。
没人在撒谎,这才是让人不舒服的地方。
Terminal-Bench到底在测什么
它给一个智能体打分,题目是容器里真实的命令行工作:装这个、调那个、让测试套件通过。指标是解决率——成功完成任务的比例。
4.0版是刻意做难的。它把3.0的74道题裁到66道,删8道、改20道,一道没加。设计上它就是个滚动靶子,智能体追上来,它就变难。
但决定一切的细节是:分数不是模型单独的属性,而是模型加运行框架的属性——那个决定给模型看什么、什么时候执行命令、出错怎么恢复、什么时候宣布完成的循环。
同一个检查点,由Claude Code、Codex、Grok Build或mini-SWE-agent驱动,数字就不一样,因为框架喂上下文、重试、停止的方式不同。一个在薄脚手架里看起来平庸的模型,放进调好的框架里可能很出色。榜单测的东西,一半是脚手架。
两个数字不同的四个原因
- 框架不同。Snorkel榜单上Opus 5.5配Claude Code是64.8%,配mini-SWE-agent是59.6%。同一个模型,五分差距。
- 推理强度不同。许多条目跑在"max"或"xhigh"档,一个榜单常为同一模型列好几行。Opus 5在一个榜上是xhigh档53.9%,在另一个榜的默认配置下是49.0%。
- 跑的人不同。厂商自报、Vals AI这类独立评测方、平台榜单各有各的数。Vals全部走Mini-SWE-agent并取三次平均,厂商可能只报一次。
- 版本不同。Terminal-Bench 2.1和4.0只共享名字。Vals在2026年9月25日把4.0设为它的编程测试、替代2.1,它自己的说明写着两者不可比。
最后一点造出了当前模型营销里最误导的产物。美团的LongCat-2.5卡片在2.1上报88.4——与Opus 5被引用的89.1只差一点——在4.0上是38.5,同一张卡片把Opus 5列在53.9。两句话都是真的,单独引用任何一句都误导。
没人引用的那一列
Snorkel榜单上最有用的不是分数,是旁边那列成本。
看表头附近:Claude Opus 5.5拿到64.8%,整个跑批烧掉80亿token、约4700美元。Kimi K3.1 Pro拿到60.9%,用32亿token、约1100美元——分数几乎相同,钱只有四分之一。混元4以39.1%落在约300美元。
换个说法:最贵的模型花的钱约是便宜中国模型的15倍,换来的分数约高1.7倍。这笔交易好不好,取决于一个完成的任务对你值多少——榜单回答不了,因为它取决于你的生意。
这正是过去两周开源权重发布改变算式的地方。如果一个模型以四分之一价格完成60%的任务,多数团队的理性做法是:全量先路由给便宜模型,只把失败升级给贵的。这是系统决策,榜单不是为表达它而造的。
厂商为什么总引好看的那个数
没有阴谋,只有朝一个方向堆起来的激励。厂商控制用哪个框架测、给多少推理强度、平均几次、博客里写哪个版本。每个选择都正当,每个选择也都倾向于把数字往上推。独立评测方的麻烦相反:它必须在几十个模型间固定框架,这就注定没有哪个模型能拿到自己的理想配置。
再叠一层:基准发布的速度快过验证的速度。4.0在2026年8月出现,旁边被引用的对比集是在几个竞品还不存在时拼的。评测者注意到,有些在4.0上分数更高的模型根本没出现在厂商表格里——不是恶意,只是表格建得更早。
结果是一个把基准名称当品牌用的市场。Terminal-Bench上的88比同一套件当前版本的38.5传得更远,而两者可以在一周内描述同一个模型。
关键要点
- 同一模型同一版本出现两个分数,差异来自框架、推理强度、执行方与版本口径。
- 4.0把74题裁到66题,与2.1不可比;跨版本引用是最常见的误导。
- 成本列被忽略:15倍价格换1.7倍分数,是否值得取决于任务价值。
诚实的局限
本文数字取自2026年11月15至16日读到的公开榜单与模型卡,它们会变;文中若干模型在写作时已有更新版本未被独立评分。跨榜单比较本身不严谨:Snorkel、Vals AI与聚合站用不同框架、强度与平均规则——分歧就是故事,不是某一家的缺陷。成本数字反映跑批时的token定价,不含订阅或承诺用量折扣。Terminal-Bench测的是终端形态的软件工作,对写作质量、客服、医疗分诊这类"是否解决"需要判断的任务说明不了什么。本文没有跑任何评测,只是比较了公开数字及其明示条件。
普通人现在能做什么
1. 不接受任何没有四个限定词的基准数字:框架、推理强度、执行方、版本。发布稿少写一个,就假设用了最有利的取值。
2. 用你自己的待办建一套十题私有集。它不严谨,但仍会比任何公开榜单更能预测,因为它测的是你真正付钱的工作。
3. 按"每个完成任务的成本"算,不按token算。完成40%任务花300美元的模型,可能胜过完成65%花4700美元的模型——取决于一次失败让你多付一次重试,还是丢掉一个客户。