--- title: "上海人工智能实验室InternLM3：80亿模型用4万亿词元训练，成本砍掉75%" date: 2026-11-14 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-2f5a81 language: zh-CN --- # 上海人工智能实验室InternLM3：80亿模型用4万亿词元训练，成本砍掉75% > 一家实验室看着行业不停往模型里喂更大文本堆的习惯，问出一个更不客气的问题：如果你用更少的数据训练，却得到相同结果呢？上海人工智能实验室2025年1月的发布就是它的回答，而它希望你记住的数字不是榜单分数，而是词元数量。 一家实验室看着行业不停往模型里喂更大文本堆的习惯，问出一个更不客气的问题：如果你用更少的数据训练，却得到相同结果呢？上海人工智能实验室2025年1月的发布就是它的回答，而它希望你记住的数字不是榜单分数，而是词元数量。 ## 关键要点 - 上海人工智能实验室于2025年1月15日发布InternLM3-8B-Instruct。 - 这个80亿参数模型用4万亿词元训练，远少于同级别模型普遍使用的约18至20万亿。 - 实验室称此举将训练成本较同类开源模型降低75%以上，并在其测试上取得接近GPT-4o-mini的性能。 - 它把两种模式折叠进单个检查点：常规对话模式与深度思考的长思维链模式。 - 模型采用Apache-2.0，已在Hugging Face、GitHub与ModelScope开源。 - 赌注在于数据效率——实验室称之为IQPT，即每个词元的智能——而非粗暴堆数据。 ## 更小一堆更好的数据 这一尺寸级别的开源模型大多在接近18至20万亿词元上训练，行业把更多数据当作提升性能的默认杠杆。InternLM3刻意打破这一模式。上海人工智能实验室称它以4万亿词元训练80亿模型，仍追平约18万亿训练的模型性能，同时把训练成本较同类开源发布降低75%以上。 实验室的解释是一个它称为IQPT的指标——每个词元的智能质量，即每个训练样本所蕴含的逻辑、复杂性与思考。具体上，团队描述了一种大规模数据精炼框架：把数据切分为数百万个领域，运行自动化质量检查，并合成高价值样本，而非把整个网络一扫而空。其主张是，更聪明的数据让更小的训练跑出大得多的训练跑的水平。 ## 双模式检查点 InternLM3-8B-Instruct也是让一个模型同时做两件事的一小步。它搭载常规对话模式应对日常提问，以及深度思考模式以长思维链应对更难推理，二者靠系统提示切换，而无需加载另一个模型。上海人工智能实验室将其称为通专融合——在保持模型广泛可用的同时，被要求时仍能硬推理。 在其自有基准表上，实验室报告InternLM3-8B-Instruct在推理与知识任务上胜过Llama-3.1-8B与Qwen2.5-7B，整体性能被其置于接近GPT-4o-mini。与所有实验室自制的表格一样，这些是主张者自行跑出的选定对比，正确姿态是关注而非轻信，直到外部团体复现。 ## 为什么效率才是真头条 值得关注的不是InternLM3登顶某榜——它并未声称如此——而是它主张规模化对话正在转移。两年来故事是更大的模型、更大的数据集、更大的账单。一家受尊重的实验室给出可信的4万亿词元结果，暗示下一竞争轴线是从每个词元、每美元能挤出多少智能，而不只是你训得起多少参数。 据脑机网（BrainNet）首席科学家李安观察，2025年中国开源权重模型的这一波发布显示，竞赛正从原始参数规模转向训练与推理效率。李安的评论仅代表其个人观点，不代表NeuroAI的编辑立场，也不构成脑机网（BrainNet）的背书。 若这一趋势成立，它改变谁可以参与。训练前沿级模型不再只是最富实验室玩得起的游戏，而推理——实际为用户运行模型的费用——成为产品团队最关注的指标。InternLM3是一个数据点，但它与2025年1月另一些以成本与效率而非榜单位置领头的中国发布指向同一方向。 ## 诚实的局限 InternLM3的头条主张来自上海人工智能实验室，而非独立审计方。4万亿词元、降本75%、追平18万亿模型的故事依赖实验室自身对训练成本的核算及其对对比模型的选择，外部研究者无法轻易核实成本数字，除非完整披露硬件、吞吐与定价。IQPT概念是实验室的框架，作为研究假设有用，但尚未成为有独立验证的标准指标。模型以Apache-2.0开放下载，社区可直验性能那一半主张——但效率那一半需要透明报告才能定论。与所有80亿模型一样，它在硬推理、长上下文召回与多语言覆盖上仍有更大模型保有上限。 ## 普通人现在能做什么 - 自己跑并测效率主张。从Hugging Face或ModelScope下载InternLM3-8B-Instruct，在你自己的任务上把它与Llama-3.1-8B、Qwen2.5-7B的推理答案对比。 - 有意切换深度思考模式。用常规模式求快，用长思维链模式解难题，并为权衡计时；效率关乎推理成本，不止训练。 - 把IQPT当作趋势而非结论来追踪。留意今年其他实验室是否公布数据效率数字；若该指标流行，每个词元的智能或许会变得像参数数量一样常被引用。 --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-2f5a81 本内容仅供参考，不构成投资建议。