---
title: "264 亿参数，32G 的笔记本就能跑"
date: 2026-11-22
category: AI大模型
site: 脑机网
canonical: https://aiai.cafe/a/njw-inkling-2-mini-1122
language: zh-CN
---

# 264 亿参数，32G 的笔记本就能跑

> 32GB 内存的 Mac，跑一个 264 亿参数的模型。

32GB 内存的 Mac，跑一个 264 亿参数的模型。

权重占 20GB 左右，剩下的 12GB 留给上下文和系统。

不是量化到 2 位那种跑法。

11 月 20 日，Thinking Machines 发布开放权重模型 Inkling 2 Mini，许可证 Apache 2.0。经 Ollama，它可以在 32GB 以上内存的任意 Mac 上跑，也可以在英伟达 DGX Spark 上跑。公司由 Mira Murati 创办。开放权重意味着权重文件能下载、能改、能在本地跑，不必把每一句话都发到别人的服务器上。开放权重解决了能不能下载，32GB 解决了能不能跑，两件事在同一天凑齐。

一台笔记本，一个开放权重模型。

## 层数被跑了两遍

先看结构。它是循环 Transformer。

24 层切成 4 个块，每块 6 层。中间两个块对每个 token 各跑三次，首尾两个块各跑一次。6 加 18 加 18 加 6，等于 48。

存的是 24 层，算的是 48 层。

同一份权重被反复用了两遍。这不是把模型做大，是把模型用得更狠：参数没变，每个 token 走的层数变了。多出来的 24 层不是新长出来的，是同一批层再走一遍。显存按 24 层算，算力按 48 层算，两个数从这一刻起就分开了。在 Mini 上，这个次数是固定的：中间两个块各三次；可变的是同发的研究版。

参数不动，路径变长。

层数是最贵的东西。加一层，就要多一份权重、多一份显存、多一次通信。循环绕开了加法：不加层，只让已有的层多走一遍。代价在时间上，不在显存上。

## 三个参数口径

参数要分三个数说，混着说就错。

总参 26.4B，也就是 264 亿。这是所有权重加起来的大小，决定它占多少内存。

激活 3.4B。这是 MoE 的部分：每个 token 只走一部分专家，走的那部分是 34 亿参数。

每 token 权重激活 5.4B。中间两个块各跑三次，同一批权重被重复调用，摊到每个 token 上的权重激活量就从 3.4B 涨到 5.4B。3.4 和 5.4 不矛盾，是两个口径：前者数这个 token 用到多少不同的权重，后者数这个 token 总共调用了多少权重。两个口径都有各自的用处，混用的时候，20GB 这个内存数就对不上了。

一个数人数，一个数次数。

5.4 除以 3.4，约 1.59。多出来的那一半，就是循环的账。谁把 5.4 说成“激活参数”，是把调用量当成了规模；谁把 3.4 说成“总参”，是把一条专家路径当成了整个模型。

## 每个参数不到一个字节

20GB 权重，26.4B 参数。除一下，每个参数约 0.76 字节。

一个字节 8 位。

0.76 字节，摊到每个参数是 6 位上下。多数权重以 4 位存储，最后 4 层是 8 位，再加上嵌入与运行时占的那部分，平均数就比 4 位高出一截。这靠的是 NVFP4：多数权重以 4 位精度原生训练、原生部署，最后 4 层用 MXFP8，8 位，保住输出那一段。不是训练完再压，是训练时就用这个精度，部署时不用换。原生训练的好处是没有“压缩损失”这一说，坏处是训练本身就得在这个精度上收敛。

4 位，是 32GB 的第一个前提。

第二个前提是 MoE。每个 token 只激活 3.4B，算的时候不用把 264 亿全过一遍。内存按总量算，算力按激活算，两个账分开记，才装得进一台笔记本。如果它是稠密模型，264 亿参数每个 token 都要过一遍，同样的内存，同样的芯片，速度会慢得多。

## 32GB 怎么够

20GB 权重，32GB 内存，中间剩 12GB。

12GB 要装 KV 缓存、运行时和操作系统。

1M token 的上下文标在参数表上；32GB 的机器上，权重之外只剩 12GB。所以“32GB 能跑”说的是权重装得下，不是 1M 上下文能跑满。这两句话经常被合成一句，合成之后就变成了“笔记本能跑百万上下文”。参数表上的 1M 是模型支持的窗口，不是这台机器的实测。标称窗口和可用窗口之间，差的正是权重之外要装的那些东西。

装得下，和跑得满，是两件事。

能跑的机型官方给了两个：32GB 以上内存的任意 Mac，和英伟达 DGX Spark。装不下 20GB 的机器，用 GGUF 量化版，由 Unsloth 与 llama.cpp 提供。量化版再压一次精度，换更小的内存占用，这是另一条路，不是这一条。

两条路的区别在代价。原生 4 位的版本，训练时就在这个精度上收敛；量化版是在一个更高的精度上训完，再往下压。后者门槛更低，前者更接近发布时的样子。

## 跑分是厂商口径

两个数：DeepSWE v1.1 48.2%，Vals Index v2.2 46.5%。

官方称，这在总参 100B 以下的开放权重模型里领先。

“官方称”三个字要留着。这两个分数是厂商口径，没有第三方复现。基准的名字、版本号、提示词、评分脚本，任何一处不同，分数就会变。厂商自报的分数不必是假的，它只是没经过别人之手。榜上的名次会变，口径写清楚了，名次才读得懂。读者能核对的，只有口径；分数本身，只能等第三方复现。

没经过别人之手。

解码速度那一项也一样：614 GB/s，BF16，batch size 1，标的是理论天花板。天花板不是实测。理论值算的是显存带宽除模型大小，实际跑起来还有调度、批处理、内存对齐，一层层往下扣。

天花板不是实测。

## 多想几遍的开关

循环层换来了什么？

同一次发布里有一个可变循环的研究版。不做思维链时，它的时间视野从一次循环的 16 秒，提到三次循环的 37 秒。37 除以 16，约 2.3。同样的权重，多想两遍，能做的事长了一倍多。

16 秒到 37 秒。

串行推理基准上，跑到 10 次循环还在改善，而训练只用了 3 次。推理时可以比训练时多想几遍，多想还有用。这是循环层真正的卖点：能力不全在参数里，有一部分在“算几遍”这个开关上。训练只给它 3 次机会，测试给到 10 次，曲线还在往上走，说明这个开关没有被训练用尽。

开关在推理这一侧。

这也是它和“把模型做大”最不一样的地方：做大要重新训练，多想只要多算。多算的成本在推理这一侧结算，训练结束之后，这个开关还在。

## 短的那一截

代价写在同一段里。

思维链变短了，但保持可读。

短，意味着同样的题，中间步骤少了。可读，意味着人还能看懂。两件事同时成立，说明它不是把推理藏起来，是把冗余压掉了。压掉的是重复的验算、来回的复述，剩下的还是人能跟的那条线。省下来的 token 是账单，丢掉的是可核查性。少了可查的步骤，也就少了复核的抓手。

短，不等于藏。

但短是有代价的。一条长思维链错了，能看出错在第几步；一条短链错了，往往只剩一个不对的答案。

这条代价没有数字。官方只说了变短，没说短多少。

循环层把“多想几遍”挪到了参数之外，代价是思维链变短。

## 官方承认的那一项

官方自己承认了一条。

在多轮聊天与受限指令上，Inkling 2 Mini 落后 Qwen3.8 27B。

这两项恰好是最常见的使用场景：一直聊下去，还得按格式输出。它们不吃“算几遍”，吃的是别的东西：记住前面说过什么，别把格式跑偏。循环层在这两件事上帮不上忙，跑分榜上的领先也不会替它遮住这一点。聊天要的是记住，指令要的是守格式，两条都不在“多想几遍”这条路上。

最常见的场景，恰好是短板。

还有一个取舍：非循环版本省 7.5% 的训练算力，但要在 512k token 的 agentic 轨迹上追平损失，推理算力要多 140%。省在训练，贵在推理。7.5% 对 140%，这笔账要按调用量来算：训练是一次性的，推理是每天都发生的，调用越多，省下的训练算力越不值一提。

在这个场景里，7.5% 和 140% 不在一个量级上。训练省下的那一点，是发布前的一笔；推理多花的那一截，是发布后的每一天。

回到那台机器上。

20GB 权重，12GB 余量，Apache 2.0，1M token 的标称上下文。开放权重模型把“能跑”的门槛，压到了一台普通笔记本的内存线上。

跑得怎么样是另一回事。跑分是厂商口径，多轮聊天与受限指令落后 Qwen3.8 27B，官方自己说了。

32GB 那条线，264 亿参数已经踩过去了。多轮聊天那条线，还差一截。

**免责声明：本文基于公开信息撰写，仅供读者参考，不构成任何投资建议。**

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-inkling-2-mini-1122
本内容仅供参考，不构成投资建议。
