下载完成之后,屏幕上不会跳出一个对话框。
十一月五日,百度文心团队发布了 ERNIE 5.5 Flash Base:一个只完成预训练的权重包,没有指令微调,也没有偏好对齐。你问它问题,它不会礼貌回答,只会顺着你的话往下写——因为它只被教过这一件事。
这正是这次发布的用意。
关键要点
- 这是一个稀疏混合专家(MoE)语言模型,总参数两千八百亿,每个token激活一百四十亿,在三万三千五百亿token上从零预训练。
- 训练上下文十二万八千token,微调与推理可外扩到一百万token。
- 权重仅是预训练终点的检查点,没有中训练与后训练,定位是领域适配、指令微调和强化学习的共同起点。
- 架构围绕长上下文成本设计:多数层把每128个token压成一条缓存记录,只有七分之一的层保留逐token的完整视野。
- 百度给出的对比跑分领先,但全部由厂商自行测试,且并非每个基准都赢。
基座模型是给谁用的
多数开放权重发布的是成品:别人已经做完监督微调、偏好优化和安全处理,你继承他们的选择。
基座模型只交付管线里最贵、最不显眼的那一段——预训练,别的一概没有。对手里有领域语料、并且对模型该怎么说话有明确主张的团队,这往往好过继承竞争对手的性格;对想周五上线一个客服机器人的公司,它毫无用处。
百度把取舍写得很直白:这是“共同起点”,后训练过的 ERNIE 5.5 Flash 会随后推出。
账也好算。这一级别的预训练极贵,后训练相对便宜。送掉前者、留住后者,既能养生态,又能继续卖API。
架构其实是一场成本辩论
这次发布值得看的不是参数量,而是它多愿意用细节换内存。
模型共四十三层 Transformer,隐藏维度四千零九十六,六十四注意力头。其中三十七层使用“重度压缩注意力”:每128个token折叠成一条缓存记录,再叠加一小段未压缩的近期token。层仍然看得见整段序列,但存储的成本只是全上下文层的一小部分。
只有七分之一的层保留逐token访问,用多头潜在注意力加稀疏选择。百度称在相近的KV缓存预算下,这种搭配优于“更多压缩层”的方案。
专家侧,每层从五百一十二个路由专家中选十个,再加一个共享专家,在压缩的潜空间里计算,据称可把通信与专家计算大致减半。多路由器的设计替代了单一路由器,低秩门控把门控投影参数砍掉七成五,而不改变激活专家数量。
跑分表要横着读
百度用同一套评测流程、提示词、少样本设置和裁判模型,把这个检查点与另外三个近期开放的同量级基座(DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base)做了对比。
它报出的数字包括:MMLU-Pro 七十八点四,对手六十九点二;HumanEval+ 通过率八十二点三对六十九点五。
同一张表里,对手在中文简单问答(ChineseSimpleQA)、带思维链的BBH和InfiniteBench上领先。这比“全面领先”有用。
这些都不是独立评测。厂商自测的基座对比只能当方向性证据,不能当榜单。
权重落在哪
权重在 Hugging Face 上以 FP8 和 BF16 两种格式提供,BF16 仓库约五百七十三GB。推理侧有 SGLang 与 vLLM 的部署文档,微调示例放在英伟达的 Megatron-Bridge 仓库里。
许可证是百度自己的协议第一版,不是 Apache 2.0,也不是 MIT。对多数研究用途差别不大;对准备把权重做成商业产品的公司,这是第一份该读的文件,不是最后一份。
这对开放权重竞赛意味着什么
三年前,中国公司把这种规模的原始预训练检查点放出来还算罕见。现在它成了套路:DeepSeek、阿里通义、腾讯混元和百度都在放基座,把对齐的活留给社区。
背后的判断是约束条件变了。当所有人都能预训练一个像样的基座,差异就转向后训练数据、智能体框架,以及最关键的——每个有用token的成本。一个能便宜支撑数百万次长会话的“Flash”模型,比一个略聪明但贵得多的模型更值钱。
诚实的局限
架构描述与全部跑分均来自百度对自家模型的说明;我没有复跑任何评测,也没有找到这个检查点的独立榜单记录。两千八百亿/一百四十亿、三万三千五百亿token、上下文长度都是公司说法。对比模型由百度在自己的评测框架下测试,不等于中立第三方。后训练版本在写作时尚未发布,因此关于对话质量和工具调用的任何判断都无法检验。许可证的商业条款本文未做分析。
普通人现在能做什么
- 若要微调,先在自己的任务上跑基座,再和指令模型比;差距通常比厂商表格里更大。
- 先读许可证再读架构博客:一份非标准协议,比跑分更快决定产品方案。
- 关注后训练版是否保留效率特性——决定推理成本的是这个,不是基座分数。