脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

264 亿参数,32G 的笔记本就能跑

32GB 内存的 Mac,跑一个 264 亿参数的模型。

2026-11-22 · 3161 字 · 脑机网信息截止 2026-11-22

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

32GB 内存的 Mac,跑一个 264 亿参数的模型。

权重占 20GB 左右,剩下的 12GB 留给上下文和系统。

不是量化到 2 位那种跑法。

11 月 20 日,Thinking Machines 发布开放权重模型 Inkling 2 Mini,许可证 Apache 2.0。经 Ollama,它可以在 32GB 以上内存的任意 Mac 上跑,也可以在英伟达 DGX Spark 上跑。公司由 Mira Murati 创办。开放权重意味着权重文件能下载、能改、能在本地跑,不必把每一句话都发到别人的服务器上。开放权重解决了能不能下载,32GB 解决了能不能跑,两件事在同一天凑齐。

一台笔记本,一个开放权重模型。

层数被跑了两遍

先看结构。它是循环 Transformer。

24 层切成 4 个块,每块 6 层。中间两个块对每个 token 各跑三次,首尾两个块各跑一次。6 加 18 加 18 加 6,等于 48。

存的是 24 层,算的是 48 层。

同一份权重被反复用了两遍。这不是把模型做大,是把模型用得更狠:参数没变,每个 token 走的层数变了。多出来的 24 层不是新长出来的,是同一批层再走一遍。显存按 24 层算,算力按 48 层算,两个数从这一刻起就分开了。在 Mini 上,这个次数是固定的:中间两个块各三次;可变的是同发的研究版。

参数不动,路径变长。

层数是最贵的东西。加一层,就要多一份权重、多一份显存、多一次通信。循环绕开了加法:不加层,只让已有的层多走一遍。代价在时间上,不在显存上。

三个参数口径

参数要分三个数说,混着说就错。

总参 26.4B,也就是 264 亿。这是所有权重加起来的大小,决定它占多少内存。

激活 3.4B。这是 MoE 的部分:每个 token 只走一部分专家,走的那部分是 34 亿参数。

每 token 权重激活 5.4B。中间两个块各跑三次,同一批权重被重复调用,摊到每个 token 上的权重激活量就从 3.4B 涨到 5.4B。3.4 和 5.4 不矛盾,是两个口径:前者数这个 token 用到多少不同的权重,后者数这个 token 总共调用了多少权重。两个口径都有各自的用处,混用的时候,20GB 这个内存数就对不上了。

一个数人数,一个数次数。

5.4 除以 3.4,约 1.59。多出来的那一半,就是循环的账。谁把 5.4 说成“激活参数”,是把调用量当成了规模;谁把 3.4 说成“总参”,是把一条专家路径当成了整个模型。

每个参数不到一个字节

20GB 权重,26.4B 参数。除一下,每个参数约 0.76 字节。

一个字节 8 位。

0.76 字节,摊到每个参数是 6 位上下。多数权重以 4 位存储,最后 4 层是 8 位,再加上嵌入与运行时占的那部分,平均数就比 4 位高出一截。这靠的是 NVFP4:多数权重以 4 位精度原生训练、原生部署,最后 4 层用 MXFP8,8 位,保住输出那一段。不是训练完再压,是训练时就用这个精度,部署时不用换。原生训练的好处是没有“压缩损失”这一说,坏处是训练本身就得在这个精度上收敛。

4 位,是 32GB 的第一个前提。

第二个前提是 MoE。每个 token 只激活 3.4B,算的时候不用把 264 亿全过一遍。内存按总量算,算力按激活算,两个账分开记,才装得进一台笔记本。如果它是稠密模型,264 亿参数每个 token 都要过一遍,同样的内存,同样的芯片,速度会慢得多。

32GB 怎么够

20GB 权重,32GB 内存,中间剩 12GB。

12GB 要装 KV 缓存、运行时和操作系统。

1M token 的上下文标在参数表上;32GB 的机器上,权重之外只剩 12GB。所以“32GB 能跑”说的是权重装得下,不是 1M 上下文能跑满。这两句话经常被合成一句,合成之后就变成了“笔记本能跑百万上下文”。参数表上的 1M 是模型支持的窗口,不是这台机器的实测。标称窗口和可用窗口之间,差的正是权重之外要装的那些东西。

装得下,和跑得满,是两件事。

能跑的机型官方给了两个:32GB 以上内存的任意 Mac,和英伟达 DGX Spark。装不下 20GB 的机器,用 GGUF 量化版,由 Unsloth 与 llama.cpp 提供。量化版再压一次精度,换更小的内存占用,这是另一条路,不是这一条。

两条路的区别在代价。原生 4 位的版本,训练时就在这个精度上收敛;量化版是在一个更高的精度上训完,再往下压。后者门槛更低,前者更接近发布时的样子。

跑分是厂商口径

两个数:DeepSWE v1.1 48.2%,Vals Index v2.2 46.5%。

官方称,这在总参 100B 以下的开放权重模型里领先。

“官方称”三个字要留着。这两个分数是厂商口径,没有第三方复现。基准的名字、版本号、提示词、评分脚本,任何一处不同,分数就会变。厂商自报的分数不必是假的,它只是没经过别人之手。榜上的名次会变,口径写清楚了,名次才读得懂。读者能核对的,只有口径;分数本身,只能等第三方复现。

没经过别人之手。

解码速度那一项也一样:614 GB/s,BF16,batch size 1,标的是理论天花板。天花板不是实测。理论值算的是显存带宽除模型大小,实际跑起来还有调度、批处理、内存对齐,一层层往下扣。

天花板不是实测。

多想几遍的开关

循环层换来了什么?

同一次发布里有一个可变循环的研究版。不做思维链时,它的时间视野从一次循环的 16 秒,提到三次循环的 37 秒。37 除以 16,约 2.3。同样的权重,多想两遍,能做的事长了一倍多。

16 秒到 37 秒。

串行推理基准上,跑到 10 次循环还在改善,而训练只用了 3 次。推理时可以比训练时多想几遍,多想还有用。这是循环层真正的卖点:能力不全在参数里,有一部分在“算几遍”这个开关上。训练只给它 3 次机会,测试给到 10 次,曲线还在往上走,说明这个开关没有被训练用尽。

开关在推理这一侧。

这也是它和“把模型做大”最不一样的地方:做大要重新训练,多想只要多算。多算的成本在推理这一侧结算,训练结束之后,这个开关还在。

短的那一截

代价写在同一段里。

思维链变短了,但保持可读。

短,意味着同样的题,中间步骤少了。可读,意味着人还能看懂。两件事同时成立,说明它不是把推理藏起来,是把冗余压掉了。压掉的是重复的验算、来回的复述,剩下的还是人能跟的那条线。省下来的 token 是账单,丢掉的是可核查性。少了可查的步骤,也就少了复核的抓手。

短,不等于藏。

但短是有代价的。一条长思维链错了,能看出错在第几步;一条短链错了,往往只剩一个不对的答案。

这条代价没有数字。官方只说了变短,没说短多少。

循环层把“多想几遍”挪到了参数之外,代价是思维链变短。

官方承认的那一项

官方自己承认了一条。

在多轮聊天与受限指令上,Inkling 2 Mini 落后 Qwen3.8 27B。

这两项恰好是最常见的使用场景:一直聊下去,还得按格式输出。它们不吃“算几遍”,吃的是别的东西:记住前面说过什么,别把格式跑偏。循环层在这两件事上帮不上忙,跑分榜上的领先也不会替它遮住这一点。聊天要的是记住,指令要的是守格式,两条都不在“多想几遍”这条路上。

最常见的场景,恰好是短板。

还有一个取舍:非循环版本省 7.5% 的训练算力,但要在 512k token 的 agentic 轨迹上追平损失,推理算力要多 140%。省在训练,贵在推理。7.5% 对 140%,这笔账要按调用量来算:训练是一次性的,推理是每天都发生的,调用越多,省下的训练算力越不值一提。

在这个场景里,7.5% 和 140% 不在一个量级上。训练省下的那一点,是发布前的一笔;推理多花的那一截,是发布后的每一天。

回到那台机器上。

20GB 权重,12GB 余量,Apache 2.0,1M token 的标称上下文。开放权重模型把“能跑”的门槛,压到了一台普通笔记本的内存线上。

跑得怎么样是另一回事。跑分是厂商口径,多轮聊天与受限指令落后 Qwen3.8 27B,官方自己说了。

32GB 那条线,264 亿参数已经踩过去了。多轮聊天那条线,还差一截。

免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。

数据与信源

信息截止 2026-11-22。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AI大模型」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 264 亿参数,32G 的笔记本就能跑[EB/OL]. (脑机网)[2026-11-22]. 北京: 脑机网, https://aiai.cafe/a/njw-inkling-2-mini-1122. 2026-11-23.
APA脑机网编辑部. (2026, November 22). 264 亿参数,32G 的笔记本就能跑. 脑机网. https://aiai.cafe/a/njw-inkling-2-mini-1122
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章