---
title: "百度放出一个2800亿参数模型，但没有教它聊天"
date: 2026-11-20
category: AI大模型
site: 脑机网
canonical: https://aiai.cafe/a/njw-301247
language: zh-CN
---

# 百度放出一个2800亿参数模型，但没有教它聊天

> 设想一位中型公司的开发者，她想让助手读内部合同，又不愿把文件传到别人的服务器上。租一个聊天机器人可行，但文档会离开这栋楼，价格也随供应商变。她真正需要的，是一个能自己塑造的起点。

设想一位中型公司的开发者，她想让助手读内部合同，又不愿把文件传到别人的服务器上。租一个聊天机器人可行，但文档会离开这栋楼，价格也随供应商变。她真正需要的，是一个能自己塑造的起点。

2026年11月初，百度给了她一个：ERNIE 5.5 Flash 的预训练权重，在它被教会当一个有用助手之前。

## 百度到底放了什么
ERNIE-5.5-Flash-Base 是预训练结束时的检查点，没有经过任何中训练或后训练。百度称它是领域适配、指令微调与强化学习研究的共同起点。说白了：它读过很多东西、学到通用能力，但还没人把它打磨成会礼貌回答问题的产品。

规模不小。模型总参数2800亿，每个词元激活约140亿，采用稀疏混合专家设计。百度称它从零开始、用33.5万亿词元训练，训练上下文最长12.8万词元，微调与推理时支持100万词元。

FP8与BF16两个版本都放上了 Hugging Face 和国内模型社区魔搭（ModelScope），后者条目在2026年11月5日更新。两种格式各有用途：FP8更小、服务成本更低，BF16微调时更稳妥。

许可是一份自定义协议——「ernie-5.5-flash-base-model-license-v1.0」，不是标准开源许可。那些说模型已「开源」的标题，很容易漏掉这个区别。

## 为什么「基座」才是重点
多数人接触大模型，是从一个成品助手开始的：它听指令、拒绝某些请求、用可辨认的语气说话。这些行为是后期加上去的，靠指令微调与强化学习。它有用，但也是一组由别人做出的决定。

基座检查点把这些决定剥掉了。需要读中文法律文书、摘要放射科报告，或用低资源语言工作的团队，可以从通用能力出发，教模型自己的任务与规则。对受监管行业，这是「改造一套系统」与「租用一套系统」的差别。

代价是：基座模型不是普通用户能下载来聊天的东西，它需要训练流水线、数据、硬件，以及懂行的人。放出权重交出去的是可能性，不是产品。

百度不是唯一这么做的。同一时期，中国实验室放出的一批权重在流通：月之暗面发布了 Kimi K3.1 Pro 的权重，DeepSeek 继续以 MIT 许可发布 DeepSeek-V4.1-Flash 检查点，阿里的 Qwen 系列以较宽松条款提供较小模型。细节与许可各不相同，感兴趣的读者应查各家页面而不是依赖综述。共同的方向是：AI 的原材料正在变得可交易。

## 效率写进了架构
读模型卡，最有信息量的是关于成本的选择。这个体量的模型跑长上下文很贵，百度称它把激活算力、键值缓存与长上下文开销当成一个设计问题，而不是分别优化。

架构共43层：1层稠密前馈，加42层多路由潜在混合专家。其中37层使用高度压缩的注意力，6层使用带稀疏注意力的多头潜在注意力。每个专家层把词元路由到512个专家中的10个，外加1个共享专家。团队使用 Muon 优化器，并称在统一评测流水线下，把该基座与 DeepSeek-V4.1-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 放在一起评估过。

这些不会让模型跑得便宜，而是让成本可预测。对每天要处理海量请求的公司，可预测本身很值钱。

## 怎么看这波开源权重潮
这行业有一种习惯：把每次发布当成排名事件。能下载的模型不会被供应商悄悄改掉，公司可以把数据和微调握在手里。这与在公开榜单上拿高分，是两种不同的价值。

它也改变了活在哪里干。下载权重是容易的部分；运行、评测与维护要花钱、要专业能力。若这些能力仍集中在少数云厂商手里，开源权重可能主要利好托管它们的平台。真正有意思的问题不是能否免费下载，而是用好要花多少钱。

## 关键要点

- 百度在2026年11月初放出了 ERNIE 5.5 Flash Base 的预训练权重，位于指令微调与后训练之前。
- 该稀疏模型总参数2800亿，每词元激活约140亿，用33.5万亿词元训练。
- 它支持12.8万词元的训练上下文、100万词元的微调与推理，FP8与BF16版本见 Hugging Face 与魔搭。
- 许可是自定义协议，不是标准开源许可；检查点是给开发者的原材料，不是现成聊天机器人。

## 诚实的局限
参数规模、训练词元数与架构细节都来自百度自己的魔搭模型卡。我没有找到对它的独立评测。与其他基座模型的对比使用百度的统一流水线，公司称提示词与设置相同，但那不等于外部审计。

文中的 Kimi K3.1 Pro、DeepSeek-V4.1-Flash 与 Qwen 来自行业报道与厂商页面，版本与许可变动频繁，此处只作背景，读者应向各家核实当前条款。

许可不是标准开源许可，商用前需仔细核对。托管与微调这个体量的模型有真实的基础设施成本，本文没有量化。

## 普通人现在能做什么

- **需要数据可控，就去看基座检查点，而不只是助手。** 预训练模型可以教你的领域，不必把文档交给第三方。
- **先读许可，再看榜单。** 「开放权重」从 Apache 2.0 到带条件的自定义条款都有，并不等价。
- **算全生命周期的账，别只算下载。** 运行、评测与维护，才是成本的大头。

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-301247
本内容仅供参考，不构成投资建议。
