脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

百度开源了一个“没做完”的模型,而这正是重点

下载完成之后,屏幕上不会跳出一个对话框。

2026-11-09 · 1885 字 · 脑机网信息截止 2026-11-09

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

下载完成之后,屏幕上不会跳出一个对话框。

十一月五日,百度文心团队发布了 ERNIE 5.5 Flash Base:一个只完成预训练的权重包,没有指令微调,也没有偏好对齐。你问它问题,它不会礼貌回答,只会顺着你的话往下写——因为它只被教过这一件事。

这正是这次发布的用意。

关键要点

  • 这是一个稀疏混合专家(MoE)语言模型,总参数两千八百亿,每个token激活一百四十亿,在三万三千五百亿token上从零预训练。
  • 训练上下文十二万八千token,微调与推理可外扩到一百万token。
  • 权重仅是预训练终点的检查点,没有中训练与后训练,定位是领域适配、指令微调和强化学习的共同起点。
  • 架构围绕长上下文成本设计:多数层把每128个token压成一条缓存记录,只有七分之一的层保留逐token的完整视野。
  • 百度给出的对比跑分领先,但全部由厂商自行测试,且并非每个基准都赢。

基座模型是给谁用的

多数开放权重发布的是成品:别人已经做完监督微调、偏好优化和安全处理,你继承他们的选择。

基座模型只交付管线里最贵、最不显眼的那一段——预训练,别的一概没有。对手里有领域语料、并且对模型该怎么说话有明确主张的团队,这往往好过继承竞争对手的性格;对想周五上线一个客服机器人的公司,它毫无用处。

百度把取舍写得很直白:这是“共同起点”,后训练过的 ERNIE 5.5 Flash 会随后推出。

账也好算。这一级别的预训练极贵,后训练相对便宜。送掉前者、留住后者,既能养生态,又能继续卖API。

架构其实是一场成本辩论

这次发布值得看的不是参数量,而是它多愿意用细节换内存。

模型共四十三层 Transformer,隐藏维度四千零九十六,六十四注意力头。其中三十七层使用“重度压缩注意力”:每128个token折叠成一条缓存记录,再叠加一小段未压缩的近期token。层仍然看得见整段序列,但存储的成本只是全上下文层的一小部分。

只有七分之一的层保留逐token访问,用多头潜在注意力加稀疏选择。百度称在相近的KV缓存预算下,这种搭配优于“更多压缩层”的方案。

专家侧,每层从五百一十二个路由专家中选十个,再加一个共享专家,在压缩的潜空间里计算,据称可把通信与专家计算大致减半。多路由器的设计替代了单一路由器,低秩门控把门控投影参数砍掉七成五,而不改变激活专家数量。

跑分表要横着读

百度用同一套评测流程、提示词、少样本设置和裁判模型,把这个检查点与另外三个近期开放的同量级基座(DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base)做了对比。

它报出的数字包括:MMLU-Pro 七十八点四,对手六十九点二;HumanEval+ 通过率八十二点三对六十九点五。

同一张表里,对手在中文简单问答(ChineseSimpleQA)、带思维链的BBH和InfiniteBench上领先。这比“全面领先”有用。

这些都不是独立评测。厂商自测的基座对比只能当方向性证据,不能当榜单。

权重落在哪

权重在 Hugging Face 上以 FP8 和 BF16 两种格式提供,BF16 仓库约五百七十三GB。推理侧有 SGLang 与 vLLM 的部署文档,微调示例放在英伟达的 Megatron-Bridge 仓库里。

许可证是百度自己的协议第一版,不是 Apache 2.0,也不是 MIT。对多数研究用途差别不大;对准备把权重做成商业产品的公司,这是第一份该读的文件,不是最后一份。

这对开放权重竞赛意味着什么

三年前,中国公司把这种规模的原始预训练检查点放出来还算罕见。现在它成了套路:DeepSeek、阿里通义、腾讯混元和百度都在放基座,把对齐的活留给社区。

背后的判断是约束条件变了。当所有人都能预训练一个像样的基座,差异就转向后训练数据、智能体框架,以及最关键的——每个有用token的成本。一个能便宜支撑数百万次长会话的“Flash”模型,比一个略聪明但贵得多的模型更值钱。

诚实的局限

架构描述与全部跑分均来自百度对自家模型的说明;我没有复跑任何评测,也没有找到这个检查点的独立榜单记录。两千八百亿/一百四十亿、三万三千五百亿token、上下文长度都是公司说法。对比模型由百度在自己的评测框架下测试,不等于中立第三方。后训练版本在写作时尚未发布,因此关于对话质量和工具调用的任何判断都无法检验。许可证的商业条款本文未做分析。

普通人现在能做什么

  • 若要微调,先在自己的任务上跑基座,再和指令模型比;差距通常比厂商表格里更大。
  • 先读许可证再读架构博客:一份非标准协议,比跑分更快决定产品方案。
  • 关注后训练版是否保留效率特性——决定推理成本的是这个,不是基座分数。

数据与信源

信息截止 2026-11-09。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AI大模型」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 百度开源了一个“没做完”的模型,而这正是重点[EB/OL]. (脑机网)[2026-11-09]. 北京: 脑机网, https://aiai.cafe/a/njw-8dc22b. 2026-11-10.
APA脑机网编辑部. (2026, November 9). 百度开源了一个“没做完”的模型,而这正是重点. 脑机网. https://aiai.cafe/a/njw-8dc22b
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章