11 月 17 日,摩尔线程方面表示,月之暗面开源的 Kimi K3.1 Pro,已经基于 MTT S5000 智算卡完成训练适配。
这条消息夹在两个数字中间:模型的 2.8 万亿参数,和一张国产卡的显存上限。
适配的是训练,不是推理
按摩尔线程的说明,这次打通的是原生 FSDP2 多模态训练路径,覆盖模型加载、分片调度到梯度同步的完整链路。
这句话值得拆开看。推理只要把权重装进去,算一遍就出结果;训练要同时存梯度、存优化器状态,还要在成千上万张卡之间同步梯度,任何一环掉链子,整个任务都得从头再来。
训练还有一个推理没有的东西:检查点。几千张卡跑了几十天,中途掉一张卡、断一次电,都得从上一个检查点重来。适配要解决的正是这些麻烦事。
此前国产卡在这类模型上更多是推理适配。11 月 5 日 Kimi K3.1 Pro 放出权重当天,昇腾宣布 0day 推理适配,走的是 vLLM Ascend 和 SGLang 两条框架。训练这一侧,公开信息少得多。
2.8万亿参数,光是账本就22.4TB
一个总参数 2.8 万亿的模型,如果按 FP8 精度存放权重,大约需要 2.8TB 显存。
训练时还要多存一份 Adam 优化器状态。按每个参数 8 字节的常见算法,这部分是 22.4TB。换算成 80GB 的卡,仅优化器状态就要 280 张卡的显存放得下,还没算梯度、激活值和通信缓冲。
这是我自己按公开公式算的粗账,不是摩尔线程的口径。公司没有披露用了多少张卡、训练了多久、算力利用率是多少。
所以「完成训练适配」这五个字,准确的读法是:这条链路能跑通。跑得多快、跑得多便宜,还没有答案。
参数越大,越先撞上内存墙
Kimi K3.1 Pro 是 K3 的后训练版本。架构是 MoE,权重总量 2.8 万亿,但一次推理只唤醒其中约 1040 亿参数;上下文长度做到 100 万 token,能直接读图。
据证券时报报道,它是目前全球参数规模最大的开源模型。
MoE 省的是计算,省不了权重总量。2.8 万亿参数必须切开放在几千张卡上,卡间通信一旦成为瓶颈,加卡也换不来速度。
这正是高带宽内存和互联带宽的位置。据机构测算,HBM 的供需缺口在 20% 到 30% 区间,国产卡要扩产,先要拿到这块内存。
为什么是国产卡
开源模型和闭源模型的客户不一样。闭源模型卖给调用者,买的是接口;开源模型卖给部署者,买的是机器。
一个 2.8 万亿参数的模型,愿意下载权重的,多半是想把模型放在自己机房里的企业。这批客户对算力成本最敏感,也最容易接受国产卡。
摩尔线程这次把训练链路走通,意义就在这里:客户不必先买进口卡把模型练一遍,再换国产卡做推理。
国产卡的考卷换了
过去两年,国产算力的叙事是「能用」:能推理,能接住调用量。现在考卷换成了「能训」:能不能撑住一轮完整训练,能不能在训练中途不因为一张卡掉线而整体回滚。
一次适配,离这个标准差得还远。但它把问题从「能不能」变成了「多久」。
对开发者来说,判断标准很简单:等摩尔线程公布训练时长和算力利用率。这两个数敢放出来,这条链路才算真的通了。