---
title: "窗口开到 256K，账单贵了 7 倍"
date: 2026-11-22
category: AI大模型
site: 脑机网
canonical: https://aiai.cafe/a/njw-long-context-cost-1122
language: zh-CN
---

# 窗口开到 256K，账单贵了 7 倍

> 把 256K 的窗口关到 16K，再跑一遍同一批题。

把 256K 的窗口关到 16K，再跑一遍同一批题。

这是 12 位研究人员的做法。

他们写了一篇 31 页的预印本，测了 13 个基准，结论是：巨大的上下文窗口，常常没有必要。三件事要先说清：预印本，没有经过同行评审；12 位作者，全部在英伟达；这是研究论文，不是产品路线。三点缺一个，读出来的意思都会变：少了第一点，它像是定论；少了第二点，它像是中立评测；少了第三点，它像是产品规划。

先说这三件事。

## 谁写的这份稿子

31 页，13 个基准，12 位作者。三个数指向同一种稿子：工程团队做的系统测量，不是立场文章。

作者全部在英伟达，这件事有两面。一面是，成本那一节测的是他们自己最熟的硬件，数字不是纸上推的。另一面是，这篇论文没有被同行评审过，也没有经过独立复现。读它的时候，两边都要记住：一边给它应有的分量，一边给它应有的保留。

两边都要记住。

它测的问题很具体：输入很长、步骤很多的任务，是不是要把全部内容一次性放进上下文。

13 个基准，就是 13 种问法。答案不是一句话，是一张表。

## 把窗口关小

做法有两个动作。

第一个叫压实。上下文快满了，就把前面的内容压成一段摘要，用摘要顶替原文，腾出位置继续跑。

第二个叫选择性检索。不把所有材料都塞进去，只取这一步要用的那几段。

合起来的效果，是模型一直在短窗口里工作。它看到的是被压过的历史，和被挑出来的证据，而不是全部原文。这会丢东西：措辞、语气、前后矛盾的细节，压完就没了。压实压什么、留什么，由模型自己判断；判断错一次，后面几步都跟着歪。这是这套办法的软肋。

不影响结果，是它测出来的。

限制到短工作上下文之后，Claude Opus 4.5 与 GPT 5.6 Sol 的精度损失很小。部分配置下还有改善。改善这两个字值得停一下：上下文短了，干扰少了，模型反而更容易抓住要点。长窗口不只是贵，它还会把不相关的东西一起摆到模型面前。窗口的大小和任务的难度，不是同一根轴上的两个刻度。

长，也是一种噪声。

这句话不只对模型成立。人读一份很厚的材料，也要先做目录，再挑章节。

## 每 token 贵多少

成本这一节最硬。

在 H100 上，服务 256K 上下文，比服务 16K，每生成一个 token 的成本高 3.6 到 7 倍。注意单位：是生成的 token，不是读进去的 token。你付的钱，按模型往外吐多少字算，不按窗口开多大算。上下文越长，每生成一步要照顾的前文越多，算力和显存带宽都跟着涨。涨多少，取决于实现。同一张卡、同一份权重，只是请求里带的上下文不一样，价签就不一样。

3.6 到 7 倍，是三个模型给出的区间。

三个模型是 GLM 5.2、Kimi K2.6 与 Qwen 3 Coder Next。

三个模型各自的数不一样，论文给的是范围。写成“贵 7 倍”，是把上沿当成了全部；写成“贵 3.6 倍”，是把下沿当成了平均。7 除以 3.6，约 1.94，上下沿差近一倍。对做预算的人来说，这个差别就是账单会不会翻番。它给的不是一个价格，是一排价格，选型时得先认准自己用的是哪一个。三个模型里，最贵的那个决定了预算的上限。

区间不是平均值。

区间也不是误差。它说的是：换一个模型，价签就换一张。产品选型的时候，这个区间比任何一个单点都更有用。

## 区间不能压成一个数

转述这篇论文，最容易错的地方就在这里。

一个模型一个数，三个模型三个数，论文只给区间。区间背后是三个模型各自的实现差异，不是同一套代码跑三遍。把区间压成一个数，等于替三个模型做了平均，而论文没有做这个平均。引用的时候要么给区间，要么把模型名带上，二者总得留一个，不然读者没法回查。

要么给区间，要么给名字。

3.6 倍和 7 倍，对同一个产品意味着不同的定价。按 3.6 倍做预算，实际跑到 7 倍的模型上，账单要翻一番。

这也是同一篇论文在不同人嘴里会变成两个故事的原因：一个说长上下文太贵，一个说没那么贵。他们引的是区间的两端，都没有编，只是各取了一头。

## 窗口与账单不成比例

16K 到 256K，窗口是 16 倍。

账单最多涨 7 倍。两个倍数放在一起，很容易得出“窗口涨得比账单快，所以长上下文更划算”的结论。这个推论错在把两个不同的东西放在了同一个分母上：窗口是容量，账单是每 token 的价钱。

容量和价钱，不是一回事。

窗口开大，能塞进去的材料变多，跑的轮次也可能变多。单价贵 3.6 到 7 倍，用量再往上走，乘出来的总账只会更贵。这篇论文的做法正好相反：让窗口一直小，需要什么取什么，把一次长输入换成多次短输入。所以成本的控制点不在单价谈判，在用法，也在谁来决定这个用法。

小窗口，取着用。

窗口是产品页上的数字，账单是财务表上的数字。两个数字之间，隔着一次又一次的实际调用。

## 论文留的那个口子

论文自己留了口子。

它没有排除确实需要长上下文的任务。这类任务它没有逐项列出，也没有给出比例，13 个基准覆盖不到的地方，论文没有替它们下结论。所以正确的读法是：先问这个任务要不要一次看全，再问窗口开多大。顺序反了，账单先到。

顺序反了，账单先到。

这句话也可以反过来读：确实要看全的任务，压多少都会丢。压实能省下的，是那些本来就不需要全文的任务。

论文的口子留得很清楚：它证明的是“不必默认开大”，不是“开大没用”。两句话中间，隔着一整类任务。

## 压实与检索

回到那两个动作。

压实和检索都不是新东西，工程上一直有人这么做。这篇论文的贡献，是把它们放进同一套测量，和成本放在一张表上。一旦放在同一张表上，选择就变成了算术：压实之后精度掉一点，就压实；掉得多，就开大窗口，付那 3.6 到 7 倍。测量里一旦有了成本这一列，工程偏好就得让位给算得出来的数。

选择变成了算术。

决定权不在“越长越强”这句话里，在每个 token 的单价里。上下文不是越长越好，是每 token 的成本在替我选。

这也是这篇论文真正的分量。它没有推翻长上下文，它把长上下文从“能力上限”改成了一个“价格档位”。同一个任务，可以用小窗口加压实做完，也可以用大窗口一次塞进去，区别在精度和账单之间怎么选。档位之间差的不只是钱，还有这个任务能不能一次做完。

一张 H100 上，同一份权重，两种服务方式，两个价。成本差不是厂商定的，是上下文长度定的。

这套办法对工程团队的要求不低：要会切块，要会建索引，要会在压错的时候回滚。

## 价签贴在 token 上

论文是预印本，没有同行评审。12 位作者都在英伟达，写的是研究，不是路线图。

剩下的就是数字。

能带走的是一个区间：256K 对 16K，每 token 贵 3.6 到 7 倍，三个模型，H100。以及摘要里那句结论：长输入与长任务，并不自动要求长上下文。

两句放在一起，才算读完整。

窗口可以继续开。同样在 H100 上，256K 对 16K，贵 3.6 到 7 倍。这个区间，就是窗口的价签。

**免责声明：本文基于公开信息撰写，仅供读者参考，不构成任何投资建议。**

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-long-context-cost-1122
本内容仅供参考，不构成投资建议。
