---
title: "4行代码把一次DeepSeek查表从54毫秒降到5.1毫秒，瓶颈不在算力在内存"
date: 2026-11-21
category: AI大模型
site: 脑机网
canonical: https://aiai.cafe/a/njw-99d2d3
language: zh-CN
---

# 4行代码把一次DeepSeek查表从54毫秒降到5.1毫秒，瓶颈不在算力在内存

> 关键要点：

关键要点：

- 11月15日合入vLLM的4行补丁，把DeepSeek-V4.1-Flash的Engram查表按表偏移排序。
- 在8张MI355X上、94 GiB表中查589824行，耗时从54毫秒降到5.1毫秒，约10.6倍。
- 数字出自补丁作者自测；每卡总吞吐只提升3.8%，且基线提交略旧。
模型已准备好吐出第1个 token，显卡却在空转。不是因为慢，而是因为在等——等从存放在主机内存里的一张巨大"习得记忆表"中取行。修复办法是4行代码，改的是取行的顺序。

11月15日，一项合入vLLM的变更被合并，pull request 标题是"在MI355X上按表偏移排序Engram主机查表"。它由AMD关联的开发者Fangzhou Ai贡献，由人工智能编程助手Claude Sonnet 5.5共同署名，人类提交者对结果负责。它涉及DeepSeek-V4.1-Flash和一项叫Engram的功能。

## Engram是什么，为什么会卡
大语言模型（大模型）变大有2条路：多算，或者多查。混合专家模型把每个token路由到一小部分参数。Engram加上第2条轴——条件记忆：把token的局部上下文哈希成一张巨大习得表里的一行，再把取回的向量融合回网络。这张表用n-gram风格的键寻址，所以查表时间与表大小基本无关。

- 理论上查表很便宜：哈希上下文，读一行，决定信它多少。
- 实际上表极大。报告的配置里是94 GiB，映射到共享内存，分布在8张GPU上。
- GPU取行的顺序会把地址转换硬件搅乱，因为表用的是小页映射。粗略说，未排序、超过约32768行的查表，会让GPU的快表反复缺失。
结果是预填充阶段，每个Engram层在查表核里耗掉36到110毫秒，主流却闲着。

## 那4行修复
补丁在AMD的ROCm软件栈上启用了一条已有的"按表偏移排序"路径，从32768行开始。把请求排序后再发往主机内存，意味着相邻的行一起读，顺应了页的排布方式。内联查表阈值没有改动。

数字来自pull request自己的微基准：用真实大小的94 GiB表，8张GPU并发读取，取5次运行的中位数：

- 24576行：未排序0.2毫秒，排序0.3毫秒（小规模下排序更慢）。
- 49152行：3.8毫秒降到3.1毫秒。
- 98304行：9.0毫秒降到4.3毫秒。
- 196608行：17.3毫秒降到4.3毫秒。
- 589824行：54毫秒降到5.1毫秒——约10.6倍。
最后一个是头条，也很具体：针对最大实测表的一次查表，跨8张GPU。它不是整个模型的速度。

## 端到端变了什么
pull request还给出预填充画像和1小时智能体式负载。画像里，原本约110毫秒的启动降到约4到5.5毫秒；画像窗口内每卡累计时间从约586毫秒降到27至37毫秒。在更长负载上，每卡总吞吐升3.8%，输出吞吐升3.6%，首token时间中位数降10%、九十分位降17%。

- GSM8K评测显示严格匹配准确率0.9757，基线为0.9727——与"只改取行顺序、不改读取数值"的说法一致。
- 68项相关核测试通过。
- 作者指出，端到端比较用的基线提交略旧，所以部分差异可能来自别的改动。
脑机网首席科学家李安认为，这类补丁的教训是：如今人工智能基础设施里最大的收益，常来自内存行为，而不是算术。GPU并不缺算力，它缺的是对数据的有序访问。

## 为什么不止于一块芯片
DeepSeek的Engram设计值得注意，因为它提出了扩容的新办法：增加更多习得记忆行、用查表寻址，而不抬高每个token的稠密计算。这个想法只有在服务软件能高效搬动这些行时才成立。这个补丁是管道里一小块具体的零件，而且专属于AMD的硬件路径——其他GPU家族的排序阈值正在另行添加。

它也是对开放基础设施的低调辩护。这项优化之所以存在，是因为服务框架及其测试是公开的，贡献者能复现卡顿、衡量修复、再把它合进去。

## 诚实的局限
所有性能数字都来自贡献者自己在GitHub上的pull request；本文没有复现，也没有独立基准确认。54毫秒降到5.1毫秒只适用于一种负载：94 GiB主机驻留的Engram表、589824行、8张MI355X、排序路径在32768行以上触发。其他表大小和硬件表现会不同，小行数时排序更慢。端到端收益各自只有一次运行，基线也不同于补丁的基础提交，因此这份改动能分到多少因果份额并不确定。本文不评估DeepSeek模型本身的质量或安全性。人工智能编程助手的参与由pull request陈述，本文照录，不作评判。

## 普通人现在能做什么

- 如果你做大模型服务，读与你负载匹配的数字。"10.6倍"指一次查表，不是每秒token数。
- 在买更多GPU之前先画像内存访问。由地址转换引起的卡顿，加算力解决不了。
- 查你用的服务框架是否已合入相关变更、在哪类硬件上生效；ROCm的修复不会自动变成CUDA或其他加速器的修复。

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-99d2d3
本内容仅供参考，不构成投资建议。
