---
title: "自建推理，成本降四成，首字快八成"
date: 2026-11-22
category: 算力芯片
site: 脑机网
canonical: https://aiai.cafe/a/njw-aws-kv-cache-cost-1122
language: zh-CN
---

# 自建推理，成本降四成，首字快八成

> 降 80%，剩下 20%，也就是快 5 倍。

降 80%，剩下 20%，也就是快 5 倍。

这是 AWS 分布式 KV 缓存给出的首字延迟数字。首字延迟是按下回车到第一个字出现的那段时间；降八成，就是原来等的时间只剩五分之一。同一组数据里还有成本：自托管推理成本最高降 40%，原来花 10 块的，最好情况下花 6 块。两个数说的都是最好的那一档，不是每一套自建集群的平均账。把它当平均值用，第一张账单就会对不上。

两个数，都不是平均值。

大模型回答问题，先读完你的话，再开始写。读的那一段叫 prefill，写的那一段叫 decode。首字延迟量的是前半段：前面有多少字要读，就要先算多少。多轮对话里，每一轮都要把前面的历史重新读一遍；系统提示词越长、附件越多，这一段越贵。用户感觉到的“慢”，多半就慢在这里。一次对话20 轮，前 19 轮的内容要读 20 遍。读入不结束，第一个字不出来。

每一轮，都从头读。

首字延迟是用户最先感觉到的指标。总吞吐再高，前面等的那几秒还是等；反过来，首字快、后面吐字慢，用户也会觉得卡。所以这项优化瞄准的不是整段生成时间，是开头那一下。开头那一下由读入决定，读入又由前缀决定，绕了一圈，还是回到缓存。

快，是快在开头。

读过的部分其实没变。同样的前缀，上一轮算过，这一轮还要再算一次；缓存存的就是这些中间结果，不是原文。

存的是算过的。

## 缓存放在哪

单机显存装不下太长的缓存，这是第一道墙。上下文越长，中间状态越厚，一张卡先满。分布式 KV 缓存的做法，是把这些中间结果从一张卡挪到另一层存储，下一轮再取回来。取回来比重算便宜，省的就是这一进一出。缓存命中率越高，省得越多；一次都没命中，省的是零。

命中，才省。

这句话决定了 40% 的性质。它是“最高”，对应命中率最好、前缀最重复、负载最稳定的那一档。同一台机器，换一个业务，省下来的数就换一个。

上限，不是均值。

## 四成是上限

成本降 40%，剩 60%，同样一笔钱能跑 1.67 倍的量。1 除以 0.6，得 1.67；这个数只在“降 40%”成立时成立。

1.67 倍，也是上限。

这套逻辑对长上下文最有用。十万字的文档、几十轮的对话、一整套代码库，前缀会重复很多次；重复越多，缓存省下的计算越多。反过来说，一次性的、每次都不一样的长输入，缓存帮不上忙：第一次见，总要老老实实算一遍。缓存不是让长上下文变便宜，是让重复的长上下文变便宜。长度是成本，重复才是折扣。

重复，才便宜。

成本和延迟通常是要交换的。批量开大，吞吐上去，首字变慢；批量开小，首字快，单卡跑的请求少。缓存改的是另一条路：它减掉的是重复计算，不是并行度，所以两个数可以同时往下走。这两个百分比放在一起看才有意义，单看一个，会以为是两件不相干的事。

一个减计算，一个加并行。

流量峰值、缓存全冷、前缀全不一样，三件事同时发生的时候，40% 就未必出现。容量规划要按最差的那天做。

## 对话式编排

同一次更新里还有 AWS Quick 的两条：支持对话式编排多 agent 流程，Web 端支持常驻任务。两件事方向一致，都在把“一次请求”拉成“一段持续运行”。多 agent 是你一句我一句地分工，常驻任务是没人看着也继续跑。请求本来是一次性的，这两条把它变成了一段有头有尾、还可能没有尾的过程。常驻的意思是，任务不结束，占着的资源也不释放。

从一次，到一段。

流程一长，重复的东西就多。多 agent 各有各的角色说明，各有各的工具清单，这些说明在每一轮里都要重新读一遍；常驻任务每天醒来，先读的还是同一段背景。编排把请求拆成很多次调用，缓存把很多次调用里相同的部分收起来，两件事刚好对上。拆得越细，重复的边角越多，缓存能捡的也越多。

拆得越细，重复越多。

请求变成流程，计费的单位就变了。按次算的账，算不了一个跑三天、中间还要等人回话的任务。

## 常驻任务的账

常驻还有一个副产品：闲着的时候，资源也占着。缓存、会话、上下文，都得留在原地等人回来。编排越长，出错的地方也越多，一个 agent 卡住，整条流程停在那儿，占着的显存不会自己松开。停一分钟，就多一分钟的钱；这笔钱不写在请求里，写在机器的占用率里。

停着，也在花钱。

自建的账至少有三行：算力、缓存、闲置。第一行最容易算，后两行最难估。云上算的是用量，自建算的是占着不用的时间。

闲置是自建绕不开的一项。容量要按峰值留，峰值过去，卡还在那儿；常驻任务更是把这种闲置固定下来，没人说话的时候，会话和缓存仍然占着位置。云上的按量计费把闲置摊给了别人，自建把闲置留给了自己。这笔钱不进 40%，但进账单。

## 定价权往下移

过去一段时间，推理的牌价是模型厂定的。接口挂出来，多少钱一百万 token，所有人按这个价买。自托管把这一行拆开了：同样的权重，跑在谁的卡上、缓存怎么配、批量怎么排，出来的单位成本不一样。价格从一个牌价，变成一道工程题。牌价可以抄，工程抄不走。成本的决定权，也从模型厂挪到了把它跑起来的那一层。

牌价，变成工程题。

自建划不划算，看负载的形状。稳定、高频、前缀重复的负载，缓存吃得满；忽高忽低的，卡还得按峰值买。峰值买多了是闲置，买少了是排队。

同一套方案，两个结论。

这类更新由云厂商发布，不是模型厂。模型厂卖的是智能，云厂商卖的是把智能跑起来的效率。效率每提高一档，自建的门槛就低一档；门槛低一档，愿意自己买卡的人就多一批。但门槛低不等于不要人：集群要运维，缓存要调参，容量要规划，这三件事都不在 40% 里。

门槛低，不等于不要人。

## 账要按最差算

自建的人最容易在这里出错：拿发布里的最好场景，去做自己最差场景的预算。40% 是省下来的上限，不是省下来的承诺；80% 也是同一组数据里的最好一档。按上限做预算，第一张账单就会教人重新算。反过来，按最差做预算，省下来的每一块都是真的。

预算按最差，宣传按最好。

这两个数更像方向标：告诉你缓存值得做，没告诉你做完能省多少。省多少，要拿自己的流量测。

两个百分比，一句话。

缓存命中的时候，上一轮算过的前缀不用再算。40% 和 80% 这两个数，都从这一句里出来。

**免责声明：本文基于公开信息撰写，仅供读者参考，不构成任何投资建议。**

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-aws-kv-cache-cost-1122
本内容仅供参考，不构成投资建议。
