训练一个现代大模型,默认清单上排在最前面的,往往是某家美国公司的处理器。多年以来,这与其说是选择,不如说是行业默认事实。中国电信一个团队决定试试,把这一行从清单里划掉会怎样。
11月16日,中国电信星辰AGI实验室(也叫TeleAI)的研究人员贴出一篇技术论文,副标题直白:在国产芯片与框架上推进智能体模型。到18日,它爬上了Hugging Face每日论文榜首。让它受关注的不是聊天榜新纪录,而是底下那句主张——一次前沿规模训练,整条流程里没有英伟达硬件,也没有CUDA。
一份训练日志,而不是发布宣言
多数模型发布都裹着基准测试表,这一篇却近乎自述。作者花大量篇幅解释:不能把CUDA时代的配方原样搬到另一个集群还指望跑通;更顺的路,是围绕手上真正有的芯片设计模型。
团队报告称,用昇腾910C、在MindSpore HyperParallel上预训练了2850亿参数混合专家模型,每词元约激活170亿参数。他们选更宽更浅的层,据称在昇腾集群上比GPU机群常见的深窄结构快约10%。注意力糅合了深度求索一系的多头潜在注意力、稀疏注意力和作者称为IndexShare的技术;报告声称预填充吞吐较基线提升4.68倍。生成侧的DSpark据称带来2.67到3.77倍吞吐。
这些不是独立产品指标,而是协同设计结果:拓扑感知切分、分布式优化器执行、协调的显存管理,以及在8192卡mesh上做CPU核隔离。据称仅去掉流水线并行就把单步时间砍掉三分之一。后训练平台叫TeleGym,围绕异步执行与部分展开构建,好让长度差异极大的工具调用仍能拼成连贯的训练轨迹。
小模型究竟是什么
2850亿参数旗舰不开放。能公开下载的是Xing4.0-29B-A4B:总参数290亿,每词元约点亮40亿。命名把取舍说清了——这是面向长周期任务的稀疏混合专家设计,模型得规划多步、调用工具、保持一条推理线索完整。
模型卡写着原生上下文25.6万词元,可扩展到51.2万,内置BF16、FP8、W8A8和GGUF格式。它针对意图识别、表格理解、合同审阅和知识问答调优——这些正是填满企业工作流的不起眼活儿。微调走LLaMA-Factory或MindFormers,推理走vLLM、SGLang或KTransformers。FlagOS适配层则让同一份权重能部署到多种国产芯片平台。
谁会受益是另一个问题。290亿总参数、40亿激活,量化后小到能塞进一台配置不错的单机,许可证也宽松。对一家不能把文档传出围墙的公司,一个能自己审查、自己托管的模型,比API后面高一点点的分数更值钱。团队似乎在下注:可控性与每完成一项任务的成本,可能比裸参数量更重要。
硬件叙事为何重要
有意思的不是一家运营商训了模型,而是它在没有默认加速器的情况下训到这个规模,还把过程写得足够细供人研究。对外部读者,意义更少关涉地缘,更多是工程事实:前沿训练必须依赖某家厂商技术栈的假设,已被公开检验,还附上详细日志。
作者提醒,长上下文不保证长任务可靠,涉及付款或删除数据的工具调用仍需权限和人工复核。能跑起来只是第一步,开发者愿意用的工具链是另一回事。
关键要点
- 团队报告称,在8192张昇腾910C上用MindSpore HyperParallel预训练了2850亿参数混合专家模型,每词元约激活170亿参数。
- 旗舰不发布;公开的是290亿参数、约40亿激活的Xing4.0-29B-A4B,采用Apache 2.0许可。
- 模型卡称训练吞吐较开箱基线提升约96%,这是单一集群上的相对增益,不是通用基准。
- 论文更像工程日志:更宽更浅的层、重做的并行、定制注意力栈,以及名为DSpark的投机解码。
- 这是研究与基础设施层面的故事,没有消费级产品,也没有证据显示该方案在此特定环境之外更省钱。
诚实的局限
本文依据的是技术报告摘要(由几家AI追踪站转载)、ModelScope上的官方模型卡,以及论文的英文转述。我没有读完整份研究报告,因此架构与吞吐数字都跟随团队自己的描述,而非我对实验的独立解读。那个96%是相对团队自己昇腾集群上的开箱基线测得,不是对同档GPU集群的比较,不该读成普遍的速度优势;4.68倍和2.67至3.77倍同样出自同一报告,外部没有复现。"前沿规模"是作者的说法,不是外部评测的结论。我也没有核实Apache 2.0标签之外的许可条款,更没有在自己硬件上测过权重。实验室名和模型名的译法在不同媒体间可能有出入。
普通人现在能做什么
- 自己本地跑模型的,把29B权重下下来,放到你真正关心的长文档任务上测;别看榜单,看它能否把活干完。
- 在评估供应商的,问清模型在什么硬件上训练、又在什么硬件上服务——这越来越同时影响成本和数据可控性。
- 只是旁观的,把它当成一个数据点而非定论;一次记录详尽的训练是开端,不是争论的终点。