脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

同一个模型、同一个基准,为什么能跑出两个分数

挑一个模型,挑一个基准版本,让两家机构各跑一遍,看数字怎么动。

2026-11-16 · 2158 字 · 脑机网信息截止 2026-11-16

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

挑一个模型,挑一个基准版本,让两家机构各跑一遍,看数字怎么动。

这个月公开发生了两次。腾讯称混元4在Terminal-Bench 4.0上得44.4;Snorkel AI维护的独立榜单上,同一个模型、同一套任务,是39.1。月之暗面的Kimi K3.1 Pro在自家披露里是65.7,在一个聚合站上是63.6,在另一个上是60.9。

没人在撒谎,这才是让人不舒服的地方。

Terminal-Bench到底在测什么

它给一个智能体打分,题目是容器里真实的命令行工作:装这个、调那个、让测试套件通过。指标是解决率——成功完成任务的比例。

4.0版是刻意做难的。它把3.0的74道题裁到66道,删8道、改20道,一道没加。设计上它就是个滚动靶子,智能体追上来,它就变难。

但决定一切的细节是:分数不是模型单独的属性,而是模型加运行框架的属性——那个决定给模型看什么、什么时候执行命令、出错怎么恢复、什么时候宣布完成的循环。

同一个检查点,由Claude Code、Codex、Grok Build或mini-SWE-agent驱动,数字就不一样,因为框架喂上下文、重试、停止的方式不同。一个在薄脚手架里看起来平庸的模型,放进调好的框架里可能很出色。榜单测的东西,一半是脚手架。

两个数字不同的四个原因

  • 框架不同。Snorkel榜单上Opus 5.5配Claude Code是64.8%,配mini-SWE-agent是59.6%。同一个模型,五分差距。
  • 推理强度不同。许多条目跑在"max"或"xhigh"档,一个榜单常为同一模型列好几行。Opus 5在一个榜上是xhigh档53.9%,在另一个榜的默认配置下是49.0%。
  • 跑的人不同。厂商自报、Vals AI这类独立评测方、平台榜单各有各的数。Vals全部走Mini-SWE-agent并取三次平均,厂商可能只报一次。
  • 版本不同。Terminal-Bench 2.1和4.0只共享名字。Vals在2026年9月25日把4.0设为它的编程测试、替代2.1,它自己的说明写着两者不可比。

最后一点造出了当前模型营销里最误导的产物。美团的LongCat-2.5卡片在2.1上报88.4——与Opus 5被引用的89.1只差一点——在4.0上是38.5,同一张卡片把Opus 5列在53.9。两句话都是真的,单独引用任何一句都误导。

没人引用的那一列

Snorkel榜单上最有用的不是分数,是旁边那列成本。

看表头附近:Claude Opus 5.5拿到64.8%,整个跑批烧掉80亿token、约4700美元。Kimi K3.1 Pro拿到60.9%,用32亿token、约1100美元——分数几乎相同,钱只有四分之一。混元4以39.1%落在约300美元。

换个说法:最贵的模型花的钱约是便宜中国模型的15倍,换来的分数约高1.7倍。这笔交易好不好,取决于一个完成的任务对你值多少——榜单回答不了,因为它取决于你的生意。

这正是过去两周开源权重发布改变算式的地方。如果一个模型以四分之一价格完成60%的任务,多数团队的理性做法是:全量先路由给便宜模型,只把失败升级给贵的。这是系统决策,榜单不是为表达它而造的。

厂商为什么总引好看的那个数

没有阴谋,只有朝一个方向堆起来的激励。厂商控制用哪个框架测、给多少推理强度、平均几次、博客里写哪个版本。每个选择都正当,每个选择也都倾向于把数字往上推。独立评测方的麻烦相反:它必须在几十个模型间固定框架,这就注定没有哪个模型能拿到自己的理想配置。

再叠一层:基准发布的速度快过验证的速度。4.0在2026年8月出现,旁边被引用的对比集是在几个竞品还不存在时拼的。评测者注意到,有些在4.0上分数更高的模型根本没出现在厂商表格里——不是恶意,只是表格建得更早。

结果是一个把基准名称当品牌用的市场。Terminal-Bench上的88比同一套件当前版本的38.5传得更远,而两者可以在一周内描述同一个模型。

关键要点

  • 同一模型同一版本出现两个分数,差异来自框架、推理强度、执行方与版本口径。
  • 4.0把74题裁到66题,与2.1不可比;跨版本引用是最常见的误导。
  • 成本列被忽略:15倍价格换1.7倍分数,是否值得取决于任务价值。

诚实的局限

本文数字取自2026年11月15至16日读到的公开榜单与模型卡,它们会变;文中若干模型在写作时已有更新版本未被独立评分。跨榜单比较本身不严谨:Snorkel、Vals AI与聚合站用不同框架、强度与平均规则——分歧就是故事,不是某一家的缺陷。成本数字反映跑批时的token定价,不含订阅或承诺用量折扣。Terminal-Bench测的是终端形态的软件工作,对写作质量、客服、医疗分诊这类"是否解决"需要判断的任务说明不了什么。本文没有跑任何评测,只是比较了公开数字及其明示条件。

普通人现在能做什么

1. 不接受任何没有四个限定词的基准数字:框架、推理强度、执行方、版本。发布稿少写一个,就假设用了最有利的取值。

2. 用你自己的待办建一套十题私有集。它不严谨,但仍会比任何公开榜单更能预测,因为它测的是你真正付钱的工作。

3. 按"每个完成任务的成本"算,不按token算。完成40%任务花300美元的模型,可能胜过完成65%花4700美元的模型——取决于一次失败让你多付一次重试,还是丢掉一个客户。

数据与信源

信息截止 2026-11-16。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AI大模型」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 同一个模型、同一个基准,为什么能跑出两个分数[EB/OL]. (脑机网)[2026-11-16]. 北京: 脑机网, https://aiai.cafe/a/njw-0199dc. 2026-11-16.
APA脑机网编辑部. (2026, November 16). 同一个模型、同一个基准,为什么能跑出两个分数. 脑机网. https://aiai.cafe/a/njw-0199dc
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章