--- title: "混元Large开源3890亿MoE模型，试探规模是否仍压闭源API" date: 2026-11-13 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-3e75c4 language: zh-CN --- # 混元Large开源3890亿MoE模型，试探规模是否仍压闭源API > 2024年大半年里，最大的开放权重语言模型多出自西方实验室。腾讯在2024年11月5日抛出一个反例：它开源了混元Large——一个总参数3890亿、每令牌激活520亿的混合专家语言模型，与混元3D-1.0一同发布。这个发布抛出的问题很直白： 2024年大半年里，最大的开放权重语言模型多出自西方实验室。腾讯在2024年11月5日抛出一个反例：它开源了混元Large——一个总参数3890亿、每令牌激活520亿的混合专家语言模型，与混元3D-1.0一同发布。这个发布抛出的问题很直白：当这么大的模型能免费下载、还能商用，闭源接口到底还剩多少非给不可的理由？ ## 关键要点 - 腾讯2024年11月5日开源混元Large，总参数3890亿、每令牌激活520亿的混合专家语言模型，并附带混元3D-1.0。 - 上下文窗口256K令牌，腾讯称相当于《三国演义》篇幅；权重与推理代码发布于Hugging Face与GitHub，可商用。 - 腾讯称在CMMLU、MMLU、CEval、MATH等九项维度领先，超过Llama 3.1与Mixtral等开源模型，并开源长文档基准"企鹅卷轴"。 - 模型跑在腾讯自研Angel平台；同期TI平台与HAI提供微调、API与私有部署，但授权为腾讯社区许可，并非完全开放的Apache 2.0。 ## 定义它的那些数字 混元Large的规格表才是吸睛处：3890亿总参数，靠混合专家设计每令牌只激活520亿；256K令牌上下文窗口，长到腾讯拿《三国演义》来比；权重与推理代码挂上Hugging Face与GitHub，商用免费。 混合专家是效率赌注：不再为每个词激活整张网络，而是把令牌路由到一小撮"专家"。腾讯称2024年初采用混合专家，较此前稠密设计把性能抬升约50%，并构建跨数十类的高质量中英文训练数据，数学与代码增益在10%以上。 ## 效率论点与混合专家 3890亿对520亿的切分，是整个故事的小像。一个3890亿的稠密模型对多数团队根本服务不动，而混合专家每令牌只激活一小部分权重。腾讯称其路由改进——含共享专家与恢复路由策略——提升专家用得有多均衡，稳住训练、抬升质量，并报告专家专属学习率调度。这些用户看不见，却正是混元Large能标榜近乎前沿规模、又只花小得多每令牌算力的原因，也让3890亿模型有了"开放"的可能。 ## 腾讯在质量上说了什么 在基准上，腾讯称混元Large在中文英文自然语言处理、代码、数学等九项维度领先，跨CMMLU、MMLU、CEval、MATH等套件，超过Llama 3.1与Mixtral等开源模型。发布时腾讯称其为当时最大、最好的开源混合专家模型。 这些是公司自报，应视为定位而非独立验证。模型也带了一项开放评测贡献：企鹅卷轴，腾讯自建并开源的长文档基准，针对它所称的客观长上下文测试集短缺。 据脑机网(BrainNet)首席科学家李锚表示，对怕把敏感数据送出去的企业来说，能下载、能在自己机房微调部署的开源权重，比任何闭源接口都更让人睡得着觉，这也是混元Large真正戳中的痛点。 以上为李锚个人观点，不代表本编辑部立场，亦不构成脑机网背书。 ## 诚实的局限 授权值得细看。混元Large商用免费，但走的是腾讯自家的混元社区许可，而非Apache 2.0那样的笼统许可——所以此处的"开放"比万相2.1窄，具体再分发或服务条款仍适用。腾讯自报的基准领先是公司自评；独立榜单此后已把2025至2026年更新的开源模型（来自DeepSeek、阿里等）在若干轴上排到前面，混元Large已非市场上最大的开源混合专家。而520亿激活虽远轻于3890亿稠密，在256K上下文跑全模型仍要吃下可观的GPU显存与工程量——它不是笔记本能跑的模型。 ## 普通人现在能做什么 1. 下载并压力测试256K上下文：若工作涉及长文档或多文件推理，从Hugging Face拉权重，对自己语料跑一轮检索加摘要基准。 2. 出货前先查授权：读腾讯的混元社区许可条款，"商用免费"不等于无限制的Apache 2.0。 3. 与更新的开源模型比一比：在关心任务上把混元Large和当前DeepSeek、千问开源发布摆一起测，再假定它是否仍是合适基线。 --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-3e75c4 本内容仅供参考，不构成投资建议。