降 80%,剩下 20%,也就是快 5 倍。
这是 AWS 分布式 KV 缓存给出的首字延迟数字。首字延迟是按下回车到第一个字出现的那段时间;降八成,就是原来等的时间只剩五分之一。同一组数据里还有成本:自托管推理成本最高降 40%,原来花 10 块的,最好情况下花 6 块。两个数说的都是最好的那一档,不是每一套自建集群的平均账。把它当平均值用,第一张账单就会对不上。
两个数,都不是平均值。
大模型回答问题,先读完你的话,再开始写。读的那一段叫 prefill,写的那一段叫 decode。首字延迟量的是前半段:前面有多少字要读,就要先算多少。多轮对话里,每一轮都要把前面的历史重新读一遍;系统提示词越长、附件越多,这一段越贵。用户感觉到的“慢”,多半就慢在这里。一次对话20 轮,前 19 轮的内容要读 20 遍。读入不结束,第一个字不出来。
每一轮,都从头读。
首字延迟是用户最先感觉到的指标。总吞吐再高,前面等的那几秒还是等;反过来,首字快、后面吐字慢,用户也会觉得卡。所以这项优化瞄准的不是整段生成时间,是开头那一下。开头那一下由读入决定,读入又由前缀决定,绕了一圈,还是回到缓存。
快,是快在开头。
读过的部分其实没变。同样的前缀,上一轮算过,这一轮还要再算一次;缓存存的就是这些中间结果,不是原文。
存的是算过的。
缓存放在哪
单机显存装不下太长的缓存,这是第一道墙。上下文越长,中间状态越厚,一张卡先满。分布式 KV 缓存的做法,是把这些中间结果从一张卡挪到另一层存储,下一轮再取回来。取回来比重算便宜,省的就是这一进一出。缓存命中率越高,省得越多;一次都没命中,省的是零。
命中,才省。
这句话决定了 40% 的性质。它是“最高”,对应命中率最好、前缀最重复、负载最稳定的那一档。同一台机器,换一个业务,省下来的数就换一个。
上限,不是均值。
四成是上限
成本降 40%,剩 60%,同样一笔钱能跑 1.67 倍的量。1 除以 0.6,得 1.67;这个数只在“降 40%”成立时成立。
1.67 倍,也是上限。
这套逻辑对长上下文最有用。十万字的文档、几十轮的对话、一整套代码库,前缀会重复很多次;重复越多,缓存省下的计算越多。反过来说,一次性的、每次都不一样的长输入,缓存帮不上忙:第一次见,总要老老实实算一遍。缓存不是让长上下文变便宜,是让重复的长上下文变便宜。长度是成本,重复才是折扣。
重复,才便宜。
成本和延迟通常是要交换的。批量开大,吞吐上去,首字变慢;批量开小,首字快,单卡跑的请求少。缓存改的是另一条路:它减掉的是重复计算,不是并行度,所以两个数可以同时往下走。这两个百分比放在一起看才有意义,单看一个,会以为是两件不相干的事。
一个减计算,一个加并行。
流量峰值、缓存全冷、前缀全不一样,三件事同时发生的时候,40% 就未必出现。容量规划要按最差的那天做。
对话式编排
同一次更新里还有 AWS Quick 的两条:支持对话式编排多 agent 流程,Web 端支持常驻任务。两件事方向一致,都在把“一次请求”拉成“一段持续运行”。多 agent 是你一句我一句地分工,常驻任务是没人看着也继续跑。请求本来是一次性的,这两条把它变成了一段有头有尾、还可能没有尾的过程。常驻的意思是,任务不结束,占着的资源也不释放。
从一次,到一段。
流程一长,重复的东西就多。多 agent 各有各的角色说明,各有各的工具清单,这些说明在每一轮里都要重新读一遍;常驻任务每天醒来,先读的还是同一段背景。编排把请求拆成很多次调用,缓存把很多次调用里相同的部分收起来,两件事刚好对上。拆得越细,重复的边角越多,缓存能捡的也越多。
拆得越细,重复越多。
请求变成流程,计费的单位就变了。按次算的账,算不了一个跑三天、中间还要等人回话的任务。
常驻任务的账
常驻还有一个副产品:闲着的时候,资源也占着。缓存、会话、上下文,都得留在原地等人回来。编排越长,出错的地方也越多,一个 agent 卡住,整条流程停在那儿,占着的显存不会自己松开。停一分钟,就多一分钟的钱;这笔钱不写在请求里,写在机器的占用率里。
停着,也在花钱。
自建的账至少有三行:算力、缓存、闲置。第一行最容易算,后两行最难估。云上算的是用量,自建算的是占着不用的时间。
闲置是自建绕不开的一项。容量要按峰值留,峰值过去,卡还在那儿;常驻任务更是把这种闲置固定下来,没人说话的时候,会话和缓存仍然占着位置。云上的按量计费把闲置摊给了别人,自建把闲置留给了自己。这笔钱不进 40%,但进账单。
定价权往下移
过去一段时间,推理的牌价是模型厂定的。接口挂出来,多少钱一百万 token,所有人按这个价买。自托管把这一行拆开了:同样的权重,跑在谁的卡上、缓存怎么配、批量怎么排,出来的单位成本不一样。价格从一个牌价,变成一道工程题。牌价可以抄,工程抄不走。成本的决定权,也从模型厂挪到了把它跑起来的那一层。
牌价,变成工程题。
自建划不划算,看负载的形状。稳定、高频、前缀重复的负载,缓存吃得满;忽高忽低的,卡还得按峰值买。峰值买多了是闲置,买少了是排队。
同一套方案,两个结论。
这类更新由云厂商发布,不是模型厂。模型厂卖的是智能,云厂商卖的是把智能跑起来的效率。效率每提高一档,自建的门槛就低一档;门槛低一档,愿意自己买卡的人就多一批。但门槛低不等于不要人:集群要运维,缓存要调参,容量要规划,这三件事都不在 40% 里。
门槛低,不等于不要人。
账要按最差算
自建的人最容易在这里出错:拿发布里的最好场景,去做自己最差场景的预算。40% 是省下来的上限,不是省下来的承诺;80% 也是同一组数据里的最好一档。按上限做预算,第一张账单就会教人重新算。反过来,按最差做预算,省下来的每一块都是真的。
预算按最差,宣传按最好。
这两个数更像方向标:告诉你缓存值得做,没告诉你做完能省多少。省多少,要拿自己的流量测。
两个百分比,一句话。
缓存命中的时候,上一轮算过的前缀不用再算。40% 和 80% 这两个数,都从这一句里出来。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。