把 256K 的窗口关到 16K,再跑一遍同一批题。
这是 12 位研究人员的做法。
他们写了一篇 31 页的预印本,测了 13 个基准,结论是:巨大的上下文窗口,常常没有必要。三件事要先说清:预印本,没有经过同行评审;12 位作者,全部在英伟达;这是研究论文,不是产品路线。三点缺一个,读出来的意思都会变:少了第一点,它像是定论;少了第二点,它像是中立评测;少了第三点,它像是产品规划。
先说这三件事。
谁写的这份稿子
31 页,13 个基准,12 位作者。三个数指向同一种稿子:工程团队做的系统测量,不是立场文章。
作者全部在英伟达,这件事有两面。一面是,成本那一节测的是他们自己最熟的硬件,数字不是纸上推的。另一面是,这篇论文没有被同行评审过,也没有经过独立复现。读它的时候,两边都要记住:一边给它应有的分量,一边给它应有的保留。
两边都要记住。
它测的问题很具体:输入很长、步骤很多的任务,是不是要把全部内容一次性放进上下文。
13 个基准,就是 13 种问法。答案不是一句话,是一张表。
把窗口关小
做法有两个动作。
第一个叫压实。上下文快满了,就把前面的内容压成一段摘要,用摘要顶替原文,腾出位置继续跑。
第二个叫选择性检索。不把所有材料都塞进去,只取这一步要用的那几段。
合起来的效果,是模型一直在短窗口里工作。它看到的是被压过的历史,和被挑出来的证据,而不是全部原文。这会丢东西:措辞、语气、前后矛盾的细节,压完就没了。压实压什么、留什么,由模型自己判断;判断错一次,后面几步都跟着歪。这是这套办法的软肋。
不影响结果,是它测出来的。
限制到短工作上下文之后,Claude Opus 4.5 与 GPT 5.6 Sol 的精度损失很小。部分配置下还有改善。改善这两个字值得停一下:上下文短了,干扰少了,模型反而更容易抓住要点。长窗口不只是贵,它还会把不相关的东西一起摆到模型面前。窗口的大小和任务的难度,不是同一根轴上的两个刻度。
长,也是一种噪声。
这句话不只对模型成立。人读一份很厚的材料,也要先做目录,再挑章节。
每 token 贵多少
成本这一节最硬。
在 H100 上,服务 256K 上下文,比服务 16K,每生成一个 token 的成本高 3.6 到 7 倍。注意单位:是生成的 token,不是读进去的 token。你付的钱,按模型往外吐多少字算,不按窗口开多大算。上下文越长,每生成一步要照顾的前文越多,算力和显存带宽都跟着涨。涨多少,取决于实现。同一张卡、同一份权重,只是请求里带的上下文不一样,价签就不一样。
3.6 到 7 倍,是三个模型给出的区间。
三个模型是 GLM 5.2、Kimi K2.6 与 Qwen 3 Coder Next。
三个模型各自的数不一样,论文给的是范围。写成“贵 7 倍”,是把上沿当成了全部;写成“贵 3.6 倍”,是把下沿当成了平均。7 除以 3.6,约 1.94,上下沿差近一倍。对做预算的人来说,这个差别就是账单会不会翻番。它给的不是一个价格,是一排价格,选型时得先认准自己用的是哪一个。三个模型里,最贵的那个决定了预算的上限。
区间不是平均值。
区间也不是误差。它说的是:换一个模型,价签就换一张。产品选型的时候,这个区间比任何一个单点都更有用。
区间不能压成一个数
转述这篇论文,最容易错的地方就在这里。
一个模型一个数,三个模型三个数,论文只给区间。区间背后是三个模型各自的实现差异,不是同一套代码跑三遍。把区间压成一个数,等于替三个模型做了平均,而论文没有做这个平均。引用的时候要么给区间,要么把模型名带上,二者总得留一个,不然读者没法回查。
要么给区间,要么给名字。
3.6 倍和 7 倍,对同一个产品意味着不同的定价。按 3.6 倍做预算,实际跑到 7 倍的模型上,账单要翻一番。
这也是同一篇论文在不同人嘴里会变成两个故事的原因:一个说长上下文太贵,一个说没那么贵。他们引的是区间的两端,都没有编,只是各取了一头。
窗口与账单不成比例
16K 到 256K,窗口是 16 倍。
账单最多涨 7 倍。两个倍数放在一起,很容易得出“窗口涨得比账单快,所以长上下文更划算”的结论。这个推论错在把两个不同的东西放在了同一个分母上:窗口是容量,账单是每 token 的价钱。
容量和价钱,不是一回事。
窗口开大,能塞进去的材料变多,跑的轮次也可能变多。单价贵 3.6 到 7 倍,用量再往上走,乘出来的总账只会更贵。这篇论文的做法正好相反:让窗口一直小,需要什么取什么,把一次长输入换成多次短输入。所以成本的控制点不在单价谈判,在用法,也在谁来决定这个用法。
小窗口,取着用。
窗口是产品页上的数字,账单是财务表上的数字。两个数字之间,隔着一次又一次的实际调用。
论文留的那个口子
论文自己留了口子。
它没有排除确实需要长上下文的任务。这类任务它没有逐项列出,也没有给出比例,13 个基准覆盖不到的地方,论文没有替它们下结论。所以正确的读法是:先问这个任务要不要一次看全,再问窗口开多大。顺序反了,账单先到。
顺序反了,账单先到。
这句话也可以反过来读:确实要看全的任务,压多少都会丢。压实能省下的,是那些本来就不需要全文的任务。
论文的口子留得很清楚:它证明的是“不必默认开大”,不是“开大没用”。两句话中间,隔着一整类任务。
压实与检索
回到那两个动作。
压实和检索都不是新东西,工程上一直有人这么做。这篇论文的贡献,是把它们放进同一套测量,和成本放在一张表上。一旦放在同一张表上,选择就变成了算术:压实之后精度掉一点,就压实;掉得多,就开大窗口,付那 3.6 到 7 倍。测量里一旦有了成本这一列,工程偏好就得让位给算得出来的数。
选择变成了算术。
决定权不在“越长越强”这句话里,在每个 token 的单价里。上下文不是越长越好,是每 token 的成本在替我选。
这也是这篇论文真正的分量。它没有推翻长上下文,它把长上下文从“能力上限”改成了一个“价格档位”。同一个任务,可以用小窗口加压实做完,也可以用大窗口一次塞进去,区别在精度和账单之间怎么选。档位之间差的不只是钱,还有这个任务能不能一次做完。
一张 H100 上,同一份权重,两种服务方式,两个价。成本差不是厂商定的,是上下文长度定的。
这套办法对工程团队的要求不低:要会切块,要会建索引,要会在压错的时候回滚。
价签贴在 token 上
论文是预印本,没有同行评审。12 位作者都在英伟达,写的是研究,不是路线图。
剩下的就是数字。
能带走的是一个区间:256K 对 16K,每 token 贵 3.6 到 7 倍,三个模型,H100。以及摘要里那句结论:长输入与长任务,并不自动要求长上下文。
两句放在一起,才算读完整。
窗口可以继续开。同样在 H100 上,256K 对 16K,贵 3.6 到 7 倍。这个区间,就是窗口的价签。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。