--- title: "百度开源了一个“没做完”的模型，而这正是重点" date: 2026-11-09 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-8dc22b language: zh-CN --- # 百度开源了一个“没做完”的模型，而这正是重点 > 下载完成之后，屏幕上不会跳出一个对话框。 下载完成之后，屏幕上不会跳出一个对话框。 十一月五日，百度文心团队发布了 ERNIE 5.5 Flash Base：一个只完成预训练的权重包，没有指令微调，也没有偏好对齐。你问它问题，它不会礼貌回答，只会顺着你的话往下写——因为它只被教过这一件事。 这正是这次发布的用意。 ## 关键要点 - 这是一个稀疏混合专家（MoE）语言模型，总参数两千八百亿，每个token激活一百四十亿，在三万三千五百亿token上从零预训练。 - 训练上下文十二万八千token，微调与推理可外扩到一百万token。 - 权重仅是预训练终点的检查点，没有中训练与后训练，定位是领域适配、指令微调和强化学习的共同起点。 - 架构围绕长上下文成本设计：多数层把每128个token压成一条缓存记录，只有七分之一的层保留逐token的完整视野。 - 百度给出的对比跑分领先，但全部由厂商自行测试，且并非每个基准都赢。 ## 基座模型是给谁用的 多数开放权重发布的是成品：别人已经做完监督微调、偏好优化和安全处理，你继承他们的选择。 基座模型只交付管线里最贵、最不显眼的那一段——预训练，别的一概没有。对手里有领域语料、并且对模型该怎么说话有明确主张的团队，这往往好过继承竞争对手的性格；对想周五上线一个客服机器人的公司，它毫无用处。 百度把取舍写得很直白：这是“共同起点”，后训练过的 ERNIE 5.5 Flash 会随后推出。 账也好算。这一级别的预训练极贵，后训练相对便宜。送掉前者、留住后者，既能养生态，又能继续卖API。 ## 架构其实是一场成本辩论 这次发布值得看的不是参数量，而是它多愿意用细节换内存。 模型共四十三层 Transformer，隐藏维度四千零九十六，六十四注意力头。其中三十七层使用“重度压缩注意力”：每128个token折叠成一条缓存记录，再叠加一小段未压缩的近期token。层仍然看得见整段序列，但存储的成本只是全上下文层的一小部分。 只有七分之一的层保留逐token访问，用多头潜在注意力加稀疏选择。百度称在相近的KV缓存预算下，这种搭配优于“更多压缩层”的方案。 专家侧，每层从五百一十二个路由专家中选十个，再加一个共享专家，在压缩的潜空间里计算，据称可把通信与专家计算大致减半。多路由器的设计替代了单一路由器，低秩门控把门控投影参数砍掉七成五，而不改变激活专家数量。 ## 跑分表要横着读 百度用同一套评测流程、提示词、少样本设置和裁判模型，把这个检查点与另外三个近期开放的同量级基座（DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base）做了对比。 它报出的数字包括：MMLU-Pro 七十八点四，对手六十九点二；HumanEval+ 通过率八十二点三对六十九点五。 同一张表里，对手在中文简单问答（ChineseSimpleQA）、带思维链的BBH和InfiniteBench上领先。这比“全面领先”有用。 这些都不是独立评测。厂商自测的基座对比只能当方向性证据，不能当榜单。 ## 权重落在哪 权重在 Hugging Face 上以 FP8 和 BF16 两种格式提供，BF16 仓库约五百七十三GB。推理侧有 SGLang 与 vLLM 的部署文档，微调示例放在英伟达的 Megatron-Bridge 仓库里。 许可证是百度自己的协议第一版，不是 Apache 2.0，也不是 MIT。对多数研究用途差别不大；对准备把权重做成商业产品的公司，这是第一份该读的文件，不是最后一份。 ## 这对开放权重竞赛意味着什么 三年前，中国公司把这种规模的原始预训练检查点放出来还算罕见。现在它成了套路：DeepSeek、阿里通义、腾讯混元和百度都在放基座，把对齐的活留给社区。 背后的判断是约束条件变了。当所有人都能预训练一个像样的基座，差异就转向后训练数据、智能体框架，以及最关键的——每个有用token的成本。一个能便宜支撑数百万次长会话的“Flash”模型，比一个略聪明但贵得多的模型更值钱。 ## 诚实的局限 架构描述与全部跑分均来自百度对自家模型的说明；我没有复跑任何评测，也没有找到这个检查点的独立榜单记录。两千八百亿/一百四十亿、三万三千五百亿token、上下文长度都是公司说法。对比模型由百度在自己的评测框架下测试，不等于中立第三方。后训练版本在写作时尚未发布，因此关于对话质量和工具调用的任何判断都无法检验。许可证的商业条款本文未做分析。 ## 普通人现在能做什么 - 若要微调，先在自己的任务上跑基座，再和指令模型比；差距通常比厂商表格里更大。 - 先读许可证再读架构博客：一份非标准协议，比跑分更快决定产品方案。 - 关注后训练版是否保留效率特性——决定推理成本的是这个，不是基座分数。 --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-8dc22b 本内容仅供参考，不构成投资建议。