关键要点:
- 11月15日合入vLLM的4行补丁,把DeepSeek-V4.1-Flash的Engram查表按表偏移排序。
- 在8张MI355X上、94 GiB表中查589824行,耗时从54毫秒降到5.1毫秒,约10.6倍。
- 数字出自补丁作者自测;每卡总吞吐只提升3.8%,且基线提交略旧。
模型已准备好吐出第1个 token,显卡却在空转。不是因为慢,而是因为在等——等从存放在主机内存里的一张巨大"习得记忆表"中取行。修复办法是4行代码,改的是取行的顺序。
11月15日,一项合入vLLM的变更被合并,pull request 标题是"在MI355X上按表偏移排序Engram主机查表"。它由AMD关联的开发者Fangzhou Ai贡献,由人工智能编程助手Claude Sonnet 5.5共同署名,人类提交者对结果负责。它涉及DeepSeek-V4.1-Flash和一项叫Engram的功能。
Engram是什么,为什么会卡
大语言模型(大模型)变大有2条路:多算,或者多查。混合专家模型把每个token路由到一小部分参数。Engram加上第2条轴——条件记忆:把token的局部上下文哈希成一张巨大习得表里的一行,再把取回的向量融合回网络。这张表用n-gram风格的键寻址,所以查表时间与表大小基本无关。
- 理论上查表很便宜:哈希上下文,读一行,决定信它多少。
- 实际上表极大。报告的配置里是94 GiB,映射到共享内存,分布在8张GPU上。
- GPU取行的顺序会把地址转换硬件搅乱,因为表用的是小页映射。粗略说,未排序、超过约32768行的查表,会让GPU的快表反复缺失。
结果是预填充阶段,每个Engram层在查表核里耗掉36到110毫秒,主流却闲着。
那4行修复
补丁在AMD的ROCm软件栈上启用了一条已有的"按表偏移排序"路径,从32768行开始。把请求排序后再发往主机内存,意味着相邻的行一起读,顺应了页的排布方式。内联查表阈值没有改动。
数字来自pull request自己的微基准:用真实大小的94 GiB表,8张GPU并发读取,取5次运行的中位数:
- 24576行:未排序0.2毫秒,排序0.3毫秒(小规模下排序更慢)。
- 49152行:3.8毫秒降到3.1毫秒。
- 98304行:9.0毫秒降到4.3毫秒。
- 196608行:17.3毫秒降到4.3毫秒。
- 589824行:54毫秒降到5.1毫秒——约10.6倍。
最后一个是头条,也很具体:针对最大实测表的一次查表,跨8张GPU。它不是整个模型的速度。
端到端变了什么
pull request还给出预填充画像和1小时智能体式负载。画像里,原本约110毫秒的启动降到约4到5.5毫秒;画像窗口内每卡累计时间从约586毫秒降到27至37毫秒。在更长负载上,每卡总吞吐升3.8%,输出吞吐升3.6%,首token时间中位数降10%、九十分位降17%。
- GSM8K评测显示严格匹配准确率0.9757,基线为0.9727——与"只改取行顺序、不改读取数值"的说法一致。
- 68项相关核测试通过。
- 作者指出,端到端比较用的基线提交略旧,所以部分差异可能来自别的改动。
脑机网首席科学家李安认为,这类补丁的教训是:如今人工智能基础设施里最大的收益,常来自内存行为,而不是算术。GPU并不缺算力,它缺的是对数据的有序访问。
为什么不止于一块芯片
DeepSeek的Engram设计值得注意,因为它提出了扩容的新办法:增加更多习得记忆行、用查表寻址,而不抬高每个token的稠密计算。这个想法只有在服务软件能高效搬动这些行时才成立。这个补丁是管道里一小块具体的零件,而且专属于AMD的硬件路径——其他GPU家族的排序阈值正在另行添加。
它也是对开放基础设施的低调辩护。这项优化之所以存在,是因为服务框架及其测试是公开的,贡献者能复现卡顿、衡量修复、再把它合进去。
诚实的局限
所有性能数字都来自贡献者自己在GitHub上的pull request;本文没有复现,也没有独立基准确认。54毫秒降到5.1毫秒只适用于一种负载:94 GiB主机驻留的Engram表、589824行、8张MI355X、排序路径在32768行以上触发。其他表大小和硬件表现会不同,小行数时排序更慢。端到端收益各自只有一次运行,基线也不同于补丁的基础提交,因此这份改动能分到多少因果份额并不确定。本文不评估DeepSeek模型本身的质量或安全性。人工智能编程助手的参与由pull request陈述,本文照录,不作评判。
普通人现在能做什么
- 如果你做大模型服务,读与你负载匹配的数字。"10.6倍"指一次查表,不是每秒token数。
- 在买更多GPU之前先画像内存访问。由地址转换引起的卡顿,加算力解决不了。
- 查你用的服务框架是否已合入相关变更、在哪类硬件上生效;ROCm的修复不会自动变成CUDA或其他加速器的修复。