脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

4行代码把一次DeepSeek查表从54毫秒降到5.1毫秒,瓶颈不在算力在内存

关键要点:

2026-11-21 · 1967 字 · 脑机网信息截止 2026-11-21

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

关键要点:

  • 11月15日合入vLLM的4行补丁,把DeepSeek-V4.1-Flash的Engram查表按表偏移排序。
  • 在8张MI355X上、94 GiB表中查589824行,耗时从54毫秒降到5.1毫秒,约10.6倍。
  • 数字出自补丁作者自测;每卡总吞吐只提升3.8%,且基线提交略旧。

模型已准备好吐出第1个 token,显卡却在空转。不是因为慢,而是因为在等——等从存放在主机内存里的一张巨大"习得记忆表"中取行。修复办法是4行代码,改的是取行的顺序。

11月15日,一项合入vLLM的变更被合并,pull request 标题是"在MI355X上按表偏移排序Engram主机查表"。它由AMD关联的开发者Fangzhou Ai贡献,由人工智能编程助手Claude Sonnet 5.5共同署名,人类提交者对结果负责。它涉及DeepSeek-V4.1-Flash和一项叫Engram的功能。

Engram是什么,为什么会卡

大语言模型(大模型)变大有2条路:多算,或者多查。混合专家模型把每个token路由到一小部分参数。Engram加上第2条轴——条件记忆:把token的局部上下文哈希成一张巨大习得表里的一行,再把取回的向量融合回网络。这张表用n-gram风格的键寻址,所以查表时间与表大小基本无关。

  • 理论上查表很便宜:哈希上下文,读一行,决定信它多少。
  • 实际上表极大。报告的配置里是94 GiB,映射到共享内存,分布在8张GPU上。
  • GPU取行的顺序会把地址转换硬件搅乱,因为表用的是小页映射。粗略说,未排序、超过约32768行的查表,会让GPU的快表反复缺失。

结果是预填充阶段,每个Engram层在查表核里耗掉36到110毫秒,主流却闲着。

那4行修复

补丁在AMD的ROCm软件栈上启用了一条已有的"按表偏移排序"路径,从32768行开始。把请求排序后再发往主机内存,意味着相邻的行一起读,顺应了页的排布方式。内联查表阈值没有改动。

数字来自pull request自己的微基准:用真实大小的94 GiB表,8张GPU并发读取,取5次运行的中位数:

  • 24576行:未排序0.2毫秒,排序0.3毫秒(小规模下排序更慢)。
  • 49152行:3.8毫秒降到3.1毫秒。
  • 98304行:9.0毫秒降到4.3毫秒。
  • 196608行:17.3毫秒降到4.3毫秒。
  • 589824行:54毫秒降到5.1毫秒——约10.6倍。

最后一个是头条,也很具体:针对最大实测表的一次查表,跨8张GPU。它不是整个模型的速度。

端到端变了什么

pull request还给出预填充画像和1小时智能体式负载。画像里,原本约110毫秒的启动降到约4到5.5毫秒;画像窗口内每卡累计时间从约586毫秒降到27至37毫秒。在更长负载上,每卡总吞吐升3.8%,输出吞吐升3.6%,首token时间中位数降10%、九十分位降17%。

  • GSM8K评测显示严格匹配准确率0.9757,基线为0.9727——与"只改取行顺序、不改读取数值"的说法一致。
  • 68项相关核测试通过。
  • 作者指出,端到端比较用的基线提交略旧,所以部分差异可能来自别的改动。

脑机网首席科学家李安认为,这类补丁的教训是:如今人工智能基础设施里最大的收益,常来自内存行为,而不是算术。GPU并不缺算力,它缺的是对数据的有序访问。

为什么不止于一块芯片

DeepSeek的Engram设计值得注意,因为它提出了扩容的新办法:增加更多习得记忆行、用查表寻址,而不抬高每个token的稠密计算。这个想法只有在服务软件能高效搬动这些行时才成立。这个补丁是管道里一小块具体的零件,而且专属于AMD的硬件路径——其他GPU家族的排序阈值正在另行添加。

它也是对开放基础设施的低调辩护。这项优化之所以存在,是因为服务框架及其测试是公开的,贡献者能复现卡顿、衡量修复、再把它合进去。

诚实的局限

所有性能数字都来自贡献者自己在GitHub上的pull request;本文没有复现,也没有独立基准确认。54毫秒降到5.1毫秒只适用于一种负载:94 GiB主机驻留的Engram表、589824行、8张MI355X、排序路径在32768行以上触发。其他表大小和硬件表现会不同,小行数时排序更慢。端到端收益各自只有一次运行,基线也不同于补丁的基础提交,因此这份改动能分到多少因果份额并不确定。本文不评估DeepSeek模型本身的质量或安全性。人工智能编程助手的参与由pull request陈述,本文照录,不作评判。

普通人现在能做什么

  • 如果你做大模型服务,读与你负载匹配的数字。"10.6倍"指一次查表,不是每秒token数。
  • 在买更多GPU之前先画像内存访问。由地址转换引起的卡顿,加算力解决不了。
  • 查你用的服务框架是否已合入相关变更、在哪类硬件上生效;ROCm的修复不会自动变成CUDA或其他加速器的修复。

数据与信源

信息截止 2026-11-21。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AI大模型」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 4行代码把一次DeepSeek查表从54毫秒降到5.1毫秒,瓶颈不在算力在内存[EB/OL]. (脑机网)[2026-11-21]. 北京: 脑机网, https://aiai.cafe/a/njw-99d2d3. 2026-11-22.
APA脑机网编辑部. (2026, November 21). 4行代码把一次DeepSeek查表从54毫秒降到5.1毫秒,瓶颈不在算力在内存. 脑机网. https://aiai.cafe/a/njw-99d2d3
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章