--- title: "它干活的时候，大半间屋子是黑的" date: 2026-11-07 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-model-sparse-05-1107 language: zh-CN --- # 它干活的时候，大半间屋子是黑的 > 十一月五日，百度文心公开一份新的模型权重。它不是能陪人聊天的成品，而是训练跑到一定阶段就停下的半成品，官方称这是预训练终点的成果。真正值得留意的，是它往后能替人省多少力气。 十一月五日，百度文心公开一份新的模型权重。它不是能陪人聊天的成品，而是训练跑到一定阶段就停下的半成品，官方称这是预训练终点的成果。真正值得留意的，是它往后能替人省多少力气。 ## 一大一小两个数 官方发布页给了两个挨在一起的数字。一个是这份模型总共装着两千八百亿个参数，另一个是每处理一小段文字时，真正被调用的只有一百四十亿个。前者像一整栋楼里的房间，后者像某一次只推开的几扇门。 参数是什么，可以想成模型记东西用的小格子。格子越多，装得下的知识越杂，可要是每答一句话都把全部格子翻一遍，谁也吃不消。于是工程师把格子分成许多小组，每次只叫醒其中几组来干活。 这种安排叫混合专家架构。听上去复杂，道理却家常：一屋子灯全开费电，人在书房就只开书房那盏。模型里管派活的开关，会先看眼前这段话像什么，再决定把哪几组叫起来，剩下的继续歇着。 这里最要紧的是分清家底和出勤。两千八百亿是家底，一百四十亿是当天真正干活的人数。官方特意把两个数并排写出来，就是怕读者把家底误当成每次都要付的工钱，把总参数说成每回都全算。 ## 账要往后算 为什么非要这么省？官方发布页给的理由不是眼前这一次对话，而是往后很长的一段路。一份停在预训练终点的权重，接下来还要被反复拿来练，练的时候要一遍遍采样、一遍遍比对结果。 官方的原话铺得很直白：后续训练中的反复采样，以及智能体应用中的多步交互和长上下文处理，都会持续累积计算与存储的开销。省的不是一次，是往后无数次，这句话把省力的理由说透了。 换成家里的电费账就更好懂。一盏灯多开一晚看不出什么，可要是这盏灯往后每晚都亮、一亮就是很多年，当初挑灯泡时就会认真得多。模型在设计阶段抠的，正是这种会被时间一点点放大的开销。 也因如此，官方说从设计之初就把效率当成重要目标，而不是等模型做完再回头补。注意力怎么记旧内容、残差怎么往下传、专家层怎么分工、最后怎么给出结果，官方称这些组件都被逐个重新掂量过。 ## 多走一步多一笔 智能体听着远，其实就是让模型自己连着办好几件事。查一下、想一下、再查一下、再答一句，每一步都要重新读一遍前面留下的记录。步数一多，账就叠起来了，官方把多步交互单列出来正是为此。 反复采样是另一种叠账。同一道题让模型多写几版答案，再从中挑更顺的那版，写得多自然算得多。官方把这类开销和多步交互放在一起讲，意思是它们都会让每次只叫醒一小部分这个设计越往后越划算。 还有一份不太起眼的存储账。模型读过的内容得暂时记在缓存里，读得越长，这份暂存就越占地。官方把激活计算、那份缓存，以及长上下文处理的开销一并算进整体设计，没有单独挑一样来夸。 把三笔账摊在一起看就清楚了：算要花力气，记要占地方，步数一多还来回折腾。一次只叫醒一小部分省下的，正是这几样叠起来之后最沉的那部分，而不是某一笔单独的账。 ## 读长文也要省着 长上下文说人话，就是一次能读进去多少字。官方给这份权重标了两个口径：训练阶段最长读到十二万八千个词元，到了微调和推理阶段，能撑到一百万个词元。词元可以理解成模型眼里的一小截文字单位。 这样长的输入大致是能把好几本厚书一次摊在桌上。可摊得越开，翻页、对照、记住前文的力气就越大。官方把长上下文处理开销写进设计目标，正因为它和前面那笔电费账，说到底是同一笔。 所以这份模型在架构上做了不少取舍。官方称它把稀疏的混合专家架构与混合稀疏注意力合在一起用，目的都是在保持能装多少的同时，压低每次真正要动的计算、要留的缓存。取舍不为炫技，为长期跑得动。 这里得守住口径。训练时一口气能读进去的上限，和微调、推理阶段能撑到的长度，讲的是两个不同阶段，不能并在一起当成一句能读很长就完事。 官方发布页把两个阶段分开写明，也正是给往后用这份权重的人提个醒：能力是有边界的，边界还分阶段。把边界讲明白，比把一个大数喊得响，对真正要动手的人更有用。 ## 省下的留给下一程 把这些加起来看，一次只叫醒一小部分就不是个炫技的说法，而是一笔很实在的账。家底可以很厚，出勤可以很薄，中间的差额留给往后反复的训练、留给智能体一步步办事、留给一口气读完长文。 官方发布页里还有一句挺克制的话，说希望更多开发者能复用大规模预训练的成果，把资源投到各自关心的能力、任务与训练方法上去。省下来的力气不是终点，是让别人接着往下走时手里能宽裕一点。 这份权重眼下的身份也说明了这一点。官方称它停在预训练终点，还没经过后面的调教，换句话说它是一块地基，不是一间能住人的屋子。省下的每一分力气，都是留给往后在地基上砌墙的人。 对不写代码的人，这份发布最值得记住的，也许就是那个画面：一屋子灯，每次只开几盏。省电不是因为开不起，而是因为往后要用灯的地方还很长。至于这一屋子格子当初是怎么一格格填出来的，那是另一篇要讲的事。 **免责声明：本文基于公开信息撰写，仅供读者参考，不构成任何投资建议。** --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-model-sparse-05-1107 本内容仅供参考，不构成投资建议。