--- title: "上海AI实验室的 8B 模型，悄悄重写了训练成本的算法" date: 2026-10-28 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-859911 language: zh-CN --- # 上海AI实验室的 8B 模型，悄悄重写了训练成本的算法 > 多数实验室仍然默认：想要更聪明的模型，就得喂更多数据。上海一家国家级实验室用 80 亿参数的模型、只用同行一小部分训练数据就做到了可比能力，然后把权重免费开放。它的赌注是：真正的瓶颈不是数据量，而是数据质量。 多数实验室仍然默认：想要更聪明的模型，就得喂更多数据。上海一家国家级实验室用 80 亿参数的模型、只用同行一小部分训练数据就做到了可比能力，然后把权重免费开放。它的赌注是：真正的瓶颈不是数据量，而是数据质量。 2025 年 1 月 15 日，上海人工智能实验室发布书生·浦语 3.0（InternLM3）的旗舰版 InternLM3-8B-Instruct。实验室最核心的说法很简单，却很难忽视：该模型仅用 4 万亿高质量 token 训练，按其自身核算，训练成本比同规模其他大模型（大模型）低 75% 以上，同时在推理与知识任务上追平或超越 Llama-3.1-8B 与 Qwen2.5-7B。 ## 关键事实 InternLM3-8B-Instruct 是一个 80 亿参数的稠密模型，以 Apache 2.0 许可开放权重，权重可在 Hugging Face、ModelScope 及实验室自有渠道获取。实验室称其通过“数据精炼”流水线提升了所谓“思维密度”，仅用 4T token 即达到同级别效果，训练成本较同类下降超 75%。它在一个模型里内置两种模式：深度思考模式输出长链推理，常规模式负责流畅对话，用系统提示词即可切换。在实验室基于司南 OpenCompass 的评测中，其综合表现被报称“十分接近 GPT-4o-mini”——这是实验室自家结论，并非第三方独立审计。 ## 效率才是重点 真正值得盯的不是 80 亿参数，而是 4 万亿 token。同级别开源模型通常训练数据量更大；实验室的论点是，更聪明的过滤与合成数据生成，让它在更少数据上达到同样能力。若这套核算成立，训练一个有竞争力基座模型的经济门槛就被改写了：你不再需要超大规模语料，而需要一条严谨的数据管线。 其机制被描述为“智能体自我演进”：自动化质检在数百万领域分区中清洗噪声，再以“通专融合”方式合成高价值训练数据。实验室据此指出，这是一个更小、更便宜、却仍能对标更强闭源系统的模型。 ## 两种模式合一 早先设计往往需要单独的“推理模型”和单独的“对话模型”。InternLM3 把两者合进一个检查点，用系统提示词在常规响应与深度思考之间切换。对开发者而言，这意味着只需托管一个模型，代价是：更深的回答需要更长延迟。 ## 在开源生态中的位置 InternLM 是中国运行时间最长的开源大模型（大模型）系列之一，由上海人工智能实验室联合商汤、香港中文大学、复旦大学、上海交通大学共同打造。这个 8B 模型经量化后可在单张消费级显卡运行，因此常见于数据不能出内网的私有部署与教育场景。其后继的 Intern-S1、S1-Pro、S2-Preview、S2-Mobius 转向更大的多模态科学推理模型，因此 8B Instruct 仍是该家族最后一个稠密、纯文本、通用型的基座。 ## 为什么这件事值得中国读者关注 训练成本下降 75% 这类说法，听上去像营销，但它指向一个更实在的趋势：当数据工程比堆数据更值钱，训练和持有基座模型的门槛就会下沉。对高校、科研院所和中小企业来说，这意味着不必等巨头施舍 API，也能在自有设备上跑一个可审计、可微调的通用模型。上海 AI 实验室把权重、训练代码与推理代码一并开源，并配套 OpenCompass 这类可复现评测框架，本质是在输出一套“可被别人验证”的研究范式，而不只是一个产品。这恰恰是中国开源大模型（大模型）生态里稀缺的那类公共资产——它不是某家公司护城河里的模型，而是整个社区都能站在上面继续搭东西的底座。 ## 诚实的局限 75% 的训练成本下降与基准对比，均为实验室自家陈述；未在两家权威源上找到对该训练成本数字的可独立复现结果，因此请将其视为厂商说法而非已验证常数。“接近 GPT-4o-mini”来自实验室的 OpenCompass 跑分，不是第三方榜单。该 8B 基座的上下文长度在不同数据库中被不一致地描述（一处记为约 128K token，另有长上下文变体说法），故本文不主张单一数字。和任何开放权重一样，安全表现取决于下游部署方式。 ## 普通人现在能做什么 - 如果你需要一款小体量、许可宽松的基座模型处理中英任务，去拉取 InternLM3-8B-Instruct，并在你自己的评测集上对照 Qwen2.5-7B、Llama-3.1-8B 比一轮。 - 用 LMDeploy、vLLM、Ollama 或 llama.cpp 以 4 位/8 位量化在本地跑，看看单卡部署是否契合你的预算。 - 如果你自己训模型，重点研究实验室的“数据精炼”思路：真正值得借鉴的是 4T token 的配方，而不是参数规模。 --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-859911 本内容仅供参考，不构成投资建议。