--- title: "喂给它的教材里，有一摞是别人的代码" date: 2026-11-07 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-model-pretrain-data-06-1107 language: zh-CN --- # 喂给它的教材里，有一摞是别人的代码 > 上一篇说这屋子灯怎么省着开，这一篇讲另一头的事：当初拿什么把一屋子小格子填起来。百度文心把用的材料写在官方发布页上，读下来会发现，远不只是把网页堆进去那么简单。 上一篇说这屋子灯怎么省着开，这一篇讲另一头的事：当初拿什么把一屋子小格子填起来。百度文心把用的材料写在官方发布页上，读下来会发现，远不只是把网页堆进去那么简单。 ## 不只是翻网页 很多人以为练模型就是爬网页，把网上能找到的字统统塞进去。官方发布页确实把网页数据列在第一位，可措辞里藏着讲究：多语言网页抓取、高保真文本抽取，再加上模型驱动的多维质量过滤，三步都写明了。 抓取是先把范围铺开，高保真抽取是把网页里花花绿绿的排版剥掉、只留下干净的字。质量过滤则是一道筛子，官方称用模型自己来多维打分，把读着没内容的、东拼西凑的挑出去。三步说的都是同一件事：宁可少，也要干净。 为什么要这么挑？官方给的理由挺实在：预训练数据决定了往后一切训练所依托的能力底座。地基里掺了太多沙，上面盖什么都会歪。网页管的是知识广度，让模型对各行各业、各种语言都见过一点，但光靠广度撑不住后面。 于是官方在网页之外，还特意点了两个方向，说这是重点建设的部分。一个是代码，一个是长文。加上网页，凑成三类。三类不是随手分的，官方称它们补的，都是事后难以临时补上的能力。 ## 代码里的旧账本 代码这一类最有意思。按官方的说法，来自代码仓库和网页的代码，先要过非代码过滤、面向召回的去重，再做多粒度质量分级。翻成家常话，就是先把不是代码的杂东西剔掉，把重复的删了，再按好坏分堆。 真正特别的在后面。官方说，静态代码之外还要补一类叫软件演化与执行验证的数据。就是代码一路改过来的痕迹：一次提交、一条问题反馈、一次合并请求、一份评审意见，连需求怎么变成改动都收了进去。 再往后还有自动生成的测试，以及经自动化验证流程跑通之后才留下来的修复。这些材料共同点很明显：它们记的不是某段代码长什么样，而是一群人怎么把一段代码从坏改到好、又怎么确认它真的好了。 为什么值得单列？官方把话说得很直：为的是增强仓库级推理与智能体软件工程能力。翻成白话，是让模型别只会对着一小段代码补全，而能看懂一整个项目里前因后果，甚至学着把活一步步做完。 对不写程序的人，可以想成看人修一台机器。只看最后那张漂亮的成品图学不到什么，可要是连换过哪个零件、为什么换、试了几回才不响，全摆在你面前，学起来就实在多了。一次代码提交也算教材，说的就是这个。 ## 长文章怎么练 第三类叫长文数据，官方说它由三部分互补构成。第一部分是天然就长的文档，先经长程依赖筛选、去重、模型打分和规则清洗，留下的都是前后文咬得紧、值得一口气读完的东西。 第二部分有点巧思：把天然文本和检索到的、意思相近的干扰文本拼在一起，造出很长的序列。这么做是为了让模型在长得相似的一堆字里，仍能找准真正该看的那几行，不被旁边的杂音带偏。 第三部分是合成的检索、基于引用的问答，还有多跳问答数据。多跳问答说人话，就是答案没法从一处直接抄，得先在文档里找着甲、再顺着甲找着乙，兜一圈才拼得出。这类材料练的是回头翻、接着找的耐性。 三类合起来看，网页铺广度，代码教前因后果，长文练一口气读到底还不迷路。官方称语料着重加强那些事后难以补足的能力，比如仓库级代码与长上下文理解，正好和前三类一一对上，不是随口一提。 ## 教材也要挑着编 这份材料单里，还有一个全篇只出现一次的数：官方称模型是在三十三点五万亿个词元上，从零完成预训练的。词元可以理解成模型眼里的一小截文字单位，这个数说的是练了多少，不是模型里装了多少格子。 这两件事得分开。上一篇讲的是每次叫醒多少格子，这里讲的是为了把格子填起来一共读了多少字。一个讲干活时出动多少人，一个讲备料时搬过多少趟，口径不同，不能比大小，更不能相减。 官方把材料分成三类、又逐类写明怎么挑，透露出一个挺朴素的态度：练什么，日后就擅长什么。想让模型能顺着一整个项目的来龙去脉想事，就得在教材里放进来龙去脉，光堆孤立的一句话没用。 ## 灶台也跟着改 材料备齐，还得有能把这些材料顺顺当当练完的家什。官方发布页用一句话带过：模型与训练系统是协同设计的。这话听着轻，意思却重，光在纸面上把架构算得省，真到大规模训练时未必还省。 发布页里那一节写了不少工程上的细节，优化器怎么改、通信怎么并、算子怎么调，术语一个接一个。对普通读者没必要钻进去，记住一句就够：为了让这套省着开灯的设计在真正的大训练里也站得住，灶台也跟着一起改了。 把三篇连起来看，线索就顺了。上一篇讲怎么把开销省在架构里，这一篇讲拿什么把底子填厚，至于开发者拿到这份权重之后还要补哪几道工序，是另一篇的事，这里不展开，各说各的一段。 对不碰代码的人，这一篇最值得带走的，也许是那个反差：连一次不起眼的代码提交、一份评审意见、一条跑通之后的修复记录，都被当成教材收了进去。模型学会的本事，说到底是被这些细碎的来路一点点喂出来的。 至于这些格子填好之后，要怎么从一块地基变成能搭话的助手，那是下一程的事。本篇只回答一个问题：当初摆上桌的，究竟是些什么。答案比一堆网页四个字，要杂得多，也有意思得多。 **免责声明：本文基于公开信息撰写，仅供读者参考，不构成任何投资建议。** --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-model-pretrain-data-06-1107 本内容仅供参考，不构成投资建议。