关键要点
- 2025 年 11 月 6 日,《大语言模型的密度法则》在线发表于《自然·机器智能》第 7 卷,页码 1823 至 1833,DOI 为 10.1038/s42256-025-01137-0;清华大学与北京市方面均称其为当期封面文章。
- 研究分析了 51 个开源模型,结论是最优能力密度大约每 3.5 个月(约 100 天)翻一倍,报告的拟合优度 R² 为 0.934。
- 清华研究者韩旭是该文共同作者之一,第一作者为肖朝军,资深作者中包括孙茂松,署名单位横跨清华大学与面壁智能。
- 论文把密度法则定位为规模法则的补充而非否定:一条描述某一时刻的规模,一条描述效率随时间改善的速度。
过去三年,国内大模型的竞赛大体是比大小:参数更多、训练更久、幻灯片上的数字更漂亮。2025 年 11 月登上《自然·机器智能》封面的那篇论文,提出换一个数字看问题——一个模型把多少智能装进了每一个参数里。推动这套想法的人之一是清华研究者韩旭,而那篇论文已经成为一批开发者的参照点:他们相信下一轮收益来自效率,而不是规模。
从"参数量"到"每个参数装了多少智能"
核心概念叫能力密度。说白了就是:要达到某个性能水平,模型真正需要多少"有效参数",再拿这个数和模型实际携带的参数做比较。一个模型如果干着比自身体量大得多的活,密度就高;反过来,需要超出自身规模的参数才勉强达标,密度就低。
密度法则的主张是:这条密度的前沿会随时间指数上升。3.5 个月翻倍这个节奏拟合得相当紧,看起来不像噪声,更像规律。
团队还发现 ChatGPT 发布前后有一次换挡:在那之前,密度大约每 4.8 个月翻倍;之后变成约每 3.2 个月。所用基准包括 MMLU、BBH、MATH、HumanEval 和 MBPP,另外用无污染的 MMLU-CF 数据集做了校验,以防模型只是背下了题目。
作者名单背后的产学研链条
名单读起来像一张"清华到产业"的路线图:第一作者肖朝军,资深作者里有孙茂松,署名单位分属清华大学与面壁智能——这家北京公司把产品战略压在端侧 AI 上。
韩旭在国内开源圈为人所知,主要是因为高效小模型的工作,以及参与建设公开发布权重与工具的 OpenBMB 社区。他也与 MiniCPM 系列端侧模型有关,这类软件的目标是跑在手机、车机或机器人本地,而不是远处的机房。
需要说清楚的是:这是团队成果,不是个人战绩——把整条法则归到一个人头上,是误读作者名单。
当一条法则变成产品论点
一家公司为什么会在意一条密度曲线?因为它把"效率"翻译成了路线图。
- 如果每个参数的能力持续上升,去年还需要一整个机柜的模型,今年可能就装进一台设备。
- 这会改变推理发生在哪里:时延更低、对网络的依赖更少、用户数据在何处处理也更可控。竞争基线也跟着变——在常见基准上追平大模型的小模型,可以在成本和功耗上压过对方。
面壁智能曾披露,截至 2026 年 8 月下旬,MiniCPM 系列累计下载量超过 5000 万次。这是公司口径,不是审计数字;下载量反映分发和开发者兴趣,不是收入。
这条法则把自己摆在规模法则的补充位置,而不是反驳:云端模型可以继续变大,小模型可以在单位参数上更聪明。
为什么一篇中国论文会被反复引用
密度法则在国内成为话题,一部分原因是它给一个现实约束提供了研究上的说法。国内开发者在获取最先进芯片上受到限制,而一条"效率按可预期节奏改善"的法则,提供了一种把约束看成轨迹、而不是死胡同的思路。不过这种解读不宜拉得太远:一条拟合出来的经验法则,描述的是已经发生的事,不保证必然发生的事。它受到的关注,本身就说明这个行业有多渴望一个新的组织性概念。
诚实的局限
本文的事实骨架是《自然·机器智能》那篇论文,以及介绍封面入选情况的中方机构页面。51 个模型、3.5 个月翻倍、0.934 拟合度来自研究团队自己的测量,应读作报告结果,而非独立验证的发现。"封面文章"由机构信源确认,不是本文查阅到的期刊页面;5000 万次下载是公司声明。论文没有证明密度会一直翻倍,也没有证明高密度模型在被测基准之外同样可靠。不妨把这条法则看成有清晰出处的经验观察,而不是自然定律。
普通人现在能做什么
- 如果你用开源模型做产品,把论文找出来读一遍,再看看密度趋势在你实际使用的那一族模型上是否成立。
- 如果你在云端推理和端侧推理之间做选择,把密度上升当作"重新测一遍小模型"的理由,而不是"放弃大模型"的理由。
- 如果你关注 AI 研究,学会区分经验趋势线和物理定律——这里的"法则"是个标签,不是承诺。