10GB 的显存,减去 4.9GB 的权重,还剩 5.1GB。
这 5.1GB 要装下 512K 上下文的缓存,和推理框架本身。
商汤给 Loop-9B 正式版的硬件要求,就写在显存这一栏。
低于 10GB。
一张卡装得下
9B 参数,Loop 结构,上下文最高 512K;4bit 量化之后,权重文件 4.9GB。
这四个数字拼起来是一台什么机器:一张 10GB 显存的卡,一份能拷进移动硬盘的权重,一个不用机房的部署位置。过去几年,模型能力的讨论都在参数表上进行;这张表上 9B 不占优势,可它跑得起来的地方,比 27B 多得多。参数表算的是上限,显存算的是下限,下限才决定谁能用。
512K 的上下文是另一个门槛。一份几百页的合同、一整个中型仓库的代码,都能一次放进去,不用先切片再检索。切片检索是把文档拆开,各段分别算,最后拼起来;长上下文是把整份东西放在同一张桌子上看。两种做法对显存的要求不一样,后者更吃缓存,前者更吃工程。
跑得起来,才有后面的比较。
两项分数一输一赢
Agent 与数据分析两项评测,商汤把对手的分数一起写了出来:NL2Repo 41.36 对 44.60,AIDABench 65.31 对 65.01。
一项差 3.24 分,一项高 0.30 分。
标题里的追上,指后一项。
这两个分数怎么来的,公开信息里没有写全:用什么提示词、跑几遍、取平均还是取最好一次、对手分是自己跑的还是引用公开结果,都没有说。评测口径不写清楚,分数就只能当参考,不能当排名。这一点对赢的那一项和输的那一项同样成立。
所以两个数要分开读。
前一项没追上。41.36 对 44.60,差 7.3%,不是误差范围内的事。NL2Repo 考的是仓库级代码任务,输入长、依赖多、要改的地方散在多个文件里;这一项落后,说明 9B 在长链条的代码操作上还差一截。这个差距和参数量差着同一个方向:9B 是 27B 的三分之一。参数少三分之二,分数少 7.3%,这两件事放在一起,才看得出这一项上参数还在起作用。
3.24 分放在 44.60 的基数上是 7.3%。同一个模型换个提示词,分数能浮动一两分;3.24 分是提示词解释不了的距离。
商汤把两个数一起放出来,等于承认了这一项的落后。发布会只报赢的那一项,是更常见的做法;报出输的那一项,反而更好读,因为它把“追上了”限定在了一项上,没有扩成整体结论。一家公司愿意把 7.3% 的差距写在评测表里,比只写 0.30 分的领先,更接近真实的使用位置。
零点三分不算赢
65.31 对 65.01,差 0.46%。
小数点后第二位上的差距,换个随机种子就可能翻过去。
所以这一项叫贴线。
贴线的意思是:在这项任务上,9B 和 27B 分不出高下。分不出高下本身就是结论——三倍参数换不来一项可测量的优势,那参数在这一项上就不是决定因素。0.30 分不能证明 9B 更强,只能证明 27B 的优势在这里消失了。消失和反超,是两件事,标题取的是后者。真要分高下,得看第三项、第四项,而公开的只有这两项。
Loop 复用同一组层
商汤给的说明只有一句:通过 Loop 结构复用模型层参数。复用几层,循环几次,没有披露。
能确认的是结果:9B 的体量,跑进了 27B 的分数段。Loop 这个名字的字面意思,是同一组层参数被反复用;深度靠重复堆出来,宽度不用加。这笔账省在参数上,不省在计算上——循环几轮,就要算几轮。参数表上的数字因此变小了,账单上的数字不一定。
省参数,不省算力。
这也是它和蒸馏、量化不同的地方:后两者是把已经训练好的大模型压小,Loop 是从结构上少放参数,再把它练出来。压小的模型,能力上限跟着原模型走;少放参数的模型,上限由自己的训练决定。前者省的是部署,后者从训练到部署都省一点。
门槛掉了一档
部署一个模型,第一道关不是分数,是显存。
4bit 的 9B 是 4.9GB;同样 4bit,27B 的权重按参数量折算约 13.5GB,是 2.75 倍。
这还没算上下文缓存。上下文拉到 512K,缓存会跟着涨;权重占得少,留给缓存的空间就多。一台机器能不能同时装下模型和长文档,取决于这个减法,不取决于跑分。9B 在这道减法上,先天比 27B 宽裕,宽裕出来的部分,正好用来装那份长文档。同样一张卡,装 27B 的人要算能开多长的上下文,装 9B 的人先算能开几个实例。
门槛掉一档,用的人多一批。
官方给的显存数字是“低于 10GB”,没有说这个数是在多长上下文下测的。512K 拉满时显存会涨,涨多少没有披露。这一点没披露,就不能替它算。
商汤的营收在旁边
商汤前三季度营收 37.9 亿元,同比增 30.4%;9B 模型能带来多少收入,没有单独披露。
能看出来的是方向:把模型做小,做到一张卡能跑,卖的是交付,不是调用。政企客户买不动一整个机房,买得起一台工作站;模型小到能进工作站,才谈得上按项目卖。这条路和按 token 计费的路,收款方式不一样:一个按次收,一个按台收,前者的规模看调用量,后者的规模看装机量。
两种生意,两本账。
按次卖的模型,收入随调用量涨,成本也随调用量涨;按台卖的模型,收入在签合同那天定了,之后每多一台机器,多一份部署的人力。
小模型不是缩水版,是另一种交付。
范式智能 11 月 18 日发布的 Phai-A1,也把“个人电脑本地部署”列为一项。官方口径称,RTX3090 单卡跑代码 Agent,响应比 Qwen27B 快 8 到 10 倍。这是厂商口径,没有第三方复现。厂商口径的数字,缺的从来不是倍数,是复现条件:什么精度、什么批量、什么输入长度。8 到 10 倍这个区间本身也宽,宽到两种测试方法都能落进去。
分数之外的时间
两项分数之外,还有一项没法测。
一个团队愿意为部署花多少时间:4.9GB 的文件拷过去,装推理框架,改几行配置,出第一个 token。
27B 的模型走同样流程,多出来的每一步都要人盯。这些时间不进跑分表,但进采购决策。能不能跑通,比跑得快不快更早决定买不买。
跑分表上没有这一栏。
厂商能给的是权重体积和显存下限,剩下的要靠用的人自己试。部署时间这种事,一份评测报告写不进去,一份采购申请里却要写;写的是能不能在我们现有的机器上跑起来,不是跑分比谁高几分。这句话听起来像常识,落到采购单上,往往被跑分挤到最后一栏。
最后看的是减法
官方给的硬件数字只有一个:显存低于 10GB。
权重 4.9GB,上下文 512K,NL2Repo 41.36,AIDABench 65.31。四个数字摆在一起,9B 和 27B 的距离,短到要用小数点后第二位来量;而它俩在显存上的距离,是 8.6GB。
剩下的 5GB 留给上下文。
这条路上,参数表已经不是最先看的那一页了。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。