关键要点
- ERNIE 5.1 于 2026 年 5 月 9 日发布,百度称其预训练算力约为同规模可比模型的 6%——不是模型弱,而是它从更强的母体中提取而来,不必从零训练。
- 母体是 2.4 万亿参数的原生全模态模型 ERNIE 5.0(2026 年 1 月定稿发布);"Once-for-All"弹性训练在一次预训练里动态采样出大量不同规模的子模型。
- 后训练方面,百度在飞桨上重建了解耦的全异步强化学习架构,称 R3 技术把 KL 散度降低 50%,且没有明显增加推理时间。
- 百度称 ERNIE 5.1 在 Arena 搜索榜得 1223 分,全球第四、中国第一;AIME26(带工具)得 99.6 分,仅次于 Gemini 3.1 Pro。以上均为厂商自报数据。
从更大的模型里"取"出一个小模型
模型更新通常带着一个更大的数字到来。百度这次带的是一个更小的数字:ERNIE 5.1 的预训练算力,公司称约为同规模可比模型的 6%。
这个说法出自百度自己,并且带着一套架构叙事。两者合起来,描述了中国实验室对大模型生意的一次认知转向:稀缺资源不再只是能力,而是"买下能力"所需的算力。
ERNIE 5.1 建在 ERNIE 5.0 之上,后者是百度 2.4 万亿参数的原生全模态模型,2026 年 1 月定稿发布。团队没有单独训练一个小模型,而是用了所谓 Once-for-All 弹性训练框架:在母体的一次预训练中动态采样大量不同规模的子模型,于是一次训练产出的是候选矩阵,而不是一个固定网络。
弹性涉及三个轴:
- 深度:随机跳过 Transformer 层,让不同深度的子模型共享权重。
- 宽度:混合专家层里实际启用的专家池被随机遮蔽,剩下的专家被迫承担更多样的工作。
- 稀疏度:可变的 top-k 路由改变每个 token 激活多少专家,在推理成本与能力之间做交换。
从这张矩阵里,百度取出一个总参数约为 ERNIE 5.0 三分之一、激活参数约为其一半的子模型。公司称结果保留了母体的知识。这个百分比是自报对比,未经外部审计,而且发布文章里没有点名"可比模型"究竟是谁。
强化学习的管路
更有分量的工程在后训练。百度围绕所谓解耦全异步架构重建了强化学习栈,建在自家飞桨框架上:训练、推理、奖励、智能体循环四个子系统的控制面被拆开,通过高性能网络组件互联,各自独立部署扩缩,流水线各段可以重叠。
两个细节值得记下。统一的 FP8 算子库压缩了训练与推理之间的精度落差;名为 Rollout Router Replay(R3)的技术,据百度称把 KL 散度降低了 50%,而没有明显增加推理时间。另有池化 CPU 策略,把集群里闲置的 CPU 拉去跑代码沙箱与验证器。
这是为智能体训练搭的基础设施——那种长程任务:模型行动、检查结果、再行动。百度的论点是,串行的后训练流水线已经成了瓶颈;试图在一个阶段里融合所有能力,会产生跷跷板效应,一项技能变强以另一项变弱为代价。
四段式配方
1. 统一监督微调(SFT):用高质量、多领域指令数据,建立指令遵循与工具使用。
2. 并行领域专家训练:代码、推理、智能体各自训练,各有奖励信号与算法,互不干扰。
3. 同策略蒸馏(OPD):一个学生模型从自身分布采样,通过 token 级反向 KL 向多位专家教师学习,把能力折进同一个参数空间。
4. 通用在线强化学习:面向开放式对话与创意写作。百度称蒸馏往往抹平输出分布,这一段改用强化学习。
"并行训专家、最后合并"这个套路,是对真实问题的实用回答。它让实验室不必重训全部,就能迭代某个智能体或代码模型——当能力项不断增殖时,这一点很关键。
榜单说了什么
百度称,2026 年 5 月 9 日,ERNIE 5.1 在 Arena 搜索榜得 1223 分,全球第四、中国第一;AIME26(带工具)得 99.6 分,仅次于 Gemini 3.1 Pro,并在 τ³-bench、SpreadsheetBench-Verified、GPQA 与 MMLU-Pro 上表现强劲。
这些是厂商在具名基准上的自报结果,比一句笼统的"领先性能"更可核查,但仍然只是厂商的数字。模型已通过百度文心站点、千帆云平台和 AI Studio 社区开放,独立测试至少是可能的。
诚实的局限
- 6% 的预训练成本与 50% 的 KL 降幅都是百度自己的测量,发布文章里没有独立审计,也没有完全说明的对照基线。
- 榜单分数,包括 Arena 的 1223 分,是一个快照。竞技场靠众包投票,排名会随新模型提交而移动。
- 这次发布把 ERNIE 5.1 与本身也在变的模型版本、闭源系统相比,这类比较过时得很快。
- 本文查阅的来源里没有 ERNIE 5.1 的定价,那条经济性主张无法用一张 API 账单验证。
普通人现在能做什么
1. 把"从零训练"读成成本主张,而不是质量主张。 比较算力预算前,先问清这个"小模型"是从更大的母体蒸馏或提取的,还是独立训练的。
2. 看后训练流水线,而不只看最终分数。 并行训专家再加蒸馏正在变成常见配方;它能告诉你一家厂商加新技能有多快。
3. 自己核实榜单位置。 查当前的 Arena 表,别在采购文件里引用发布当天的排名。