---
title: "同一个模型、同一个基准，为什么能跑出两个分数"
date: 2026-11-16
category: AI大模型
site: 脑机网
canonical: https://aiai.cafe/a/njw-0199dc
language: zh-CN
---

# 同一个模型、同一个基准，为什么能跑出两个分数

> 挑一个模型，挑一个基准版本，让两家机构各跑一遍，看数字怎么动。

挑一个模型，挑一个基准版本，让两家机构各跑一遍，看数字怎么动。

这个月公开发生了两次。腾讯称混元4在Terminal-Bench 4.0上得**44.4**；Snorkel AI维护的独立榜单上，同一个模型、同一套任务，是**39.1**。月之暗面的Kimi K3.1 Pro在自家披露里是**65.7**，在一个聚合站上是**63.6**，在另一个上是**60.9**。

没人在撒谎，这才是让人不舒服的地方。

## Terminal-Bench到底在测什么
它给一个智能体打分，题目是容器里真实的命令行工作：装这个、调那个、让测试套件通过。指标是解决率——成功完成任务的比例。

4.0版是刻意做难的。它把3.0的74道题裁到66道，删8道、改20道，一道没加。设计上它就是个滚动靶子，智能体追上来，它就变难。

但决定一切的细节是：分数不是模型单独的属性，而是模型加运行框架的属性——那个决定给模型看什么、什么时候执行命令、出错怎么恢复、什么时候宣布完成的循环。

同一个检查点，由Claude Code、Codex、Grok Build或mini-SWE-agent驱动，数字就不一样，因为框架喂上下文、重试、停止的方式不同。一个在薄脚手架里看起来平庸的模型，放进调好的框架里可能很出色。榜单测的东西，一半是脚手架。

## 两个数字不同的四个原因

- 框架不同。Snorkel榜单上Opus 5.5配Claude Code是64.8%，配mini-SWE-agent是59.6%。同一个模型，五分差距。
- 推理强度不同。许多条目跑在"max"或"xhigh"档，一个榜单常为同一模型列好几行。Opus 5在一个榜上是xhigh档53.9%，在另一个榜的默认配置下是49.0%。
- 跑的人不同。厂商自报、Vals AI这类独立评测方、平台榜单各有各的数。Vals全部走Mini-SWE-agent并取三次平均，厂商可能只报一次。
- 版本不同。Terminal-Bench 2.1和4.0只共享名字。Vals在2026年9月25日把4.0设为它的编程测试、替代2.1，它自己的说明写着两者不可比。
最后一点造出了当前模型营销里最误导的产物。美团的LongCat-2.5卡片在2.1上报**88.4**——与Opus 5被引用的89.1只差一点——在4.0上是**38.5**，同一张卡片把Opus 5列在53.9。两句话都是真的，单独引用任何一句都误导。

## 没人引用的那一列
Snorkel榜单上最有用的不是分数，是旁边那列成本。

看表头附近：Claude Opus 5.5拿到64.8%，整个跑批烧掉**80亿token**、约**4700美元**。Kimi K3.1 Pro拿到60.9%，用**32亿token**、约**1100美元**——分数几乎相同，钱只有四分之一。混元4以39.1%落在约**300美元**。

换个说法：最贵的模型花的钱约是便宜中国模型的15倍，换来的分数约高1.7倍。这笔交易好不好，取决于一个完成的任务对你值多少——榜单回答不了，因为它取决于你的生意。

这正是过去两周开源权重发布改变算式的地方。如果一个模型以四分之一价格完成60%的任务，多数团队的理性做法是：全量先路由给便宜模型，只把失败升级给贵的。这是系统决策，榜单不是为表达它而造的。

## 厂商为什么总引好看的那个数
没有阴谋，只有朝一个方向堆起来的激励。厂商控制用哪个框架测、给多少推理强度、平均几次、博客里写哪个版本。每个选择都正当，每个选择也都倾向于把数字往上推。独立评测方的麻烦相反：它必须在几十个模型间固定框架，这就注定没有哪个模型能拿到自己的理想配置。

再叠一层：基准发布的速度快过验证的速度。4.0在2026年8月出现，旁边被引用的对比集是在几个竞品还不存在时拼的。评测者注意到，有些在4.0上分数更高的模型根本没出现在厂商表格里——不是恶意，只是表格建得更早。

结果是一个把基准名称当品牌用的市场。Terminal-Bench上的88比同一套件当前版本的38.5传得更远，而两者可以在一周内描述同一个模型。

## 关键要点

- 同一模型同一版本出现两个分数，差异来自框架、推理强度、执行方与版本口径。
- 4.0把74题裁到66题，与2.1不可比；跨版本引用是最常见的误导。
- 成本列被忽略：15倍价格换1.7倍分数，是否值得取决于任务价值。

## 诚实的局限
本文数字取自2026年11月15至16日读到的公开榜单与模型卡，它们会变；文中若干模型在写作时已有更新版本未被独立评分。跨榜单比较本身不严谨：Snorkel、Vals AI与聚合站用不同框架、强度与平均规则——分歧就是故事，不是某一家的缺陷。成本数字反映跑批时的token定价，不含订阅或承诺用量折扣。Terminal-Bench测的是终端形态的软件工作，对写作质量、客服、医疗分诊这类"是否解决"需要判断的任务说明不了什么。本文没有跑任何评测，只是比较了公开数字及其明示条件。

## 普通人现在能做什么
1. 不接受任何没有四个限定词的基准数字：框架、推理强度、执行方、版本。发布稿少写一个，就假设用了最有利的取值。

2. 用你自己的待办建一套十题私有集。它不严谨，但仍会比任何公开榜单更能预测，因为它测的是你真正付钱的工作。

3. 按"每个完成任务的成本"算，不按token算。完成40%任务花300美元的模型，可能胜过完成65%花4700美元的模型——取决于一次失败让你多付一次重试，还是丢掉一个客户。

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-0199dc
本内容仅供参考，不构成投资建议。
