--- title: "DeepSeek-R1开源推理大模型：用强化学习追平o1" date: 2026-10-28 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-96c1fb language: zh-CN --- # DeepSeek-R1开源推理大模型：用强化学习追平o1 > 2025年1月20日，一家相对小型的中国实验室发布了一个让 AI 界重新评估开源大模型能力的模型。来自深度求索（DeepSeek）的 DeepSeek-R1，是首个公开可用、推理质量被描述为与 OpenAI 的 o1 比肩的开源大模型——它 2025年1月20日，一家相对小型的中国实验室发布了一个让 AI 界重新评估开源大模型能力的模型。来自深度求索（DeepSeek）的 DeepSeek-R1，是首个公开可用、推理质量被描述为与 OpenAI 的 o1 比肩的开源大模型——它以宽松的 MIT 许可证发布，可免费下载、微调与运行。 这次发布的意义不止于货架上多了一个强模型。它证明：推理能力很大程度上可以通过强化学习"逼"出来，而且成本只是闭源替代方案的一小部分。 ## 核心要点 - DeepSeek-R1 是一个 6710 亿参数的 MoE 模型，每词元激活 370 亿，基于 DeepSeek-V3-Base 构建，以 MIT 许可证发布开源权重。它是首个达到 o1 级推理的开源大模型。 - 它是一款推理模型：生成可见的思维链，部分借助大规模强化学习（GRPO）而非仅监督微调训练而成。 - 发布基准上，它在 MATH-500（97.3%）、AIME 2024（79.8%）、GPQA-Diamond（71.5%）上匹配或击败 o1，MMLU 达 90.8%。 - 深度求索把 R1 蒸馏为六个更小的稠密模型（1.5B–70B），基于 Qwen 与 Llama，将推理带到单张 GPU。 ## 推理模型如何炼成 标准对话模型立即作答，推理模型先深思。DeepSeek-R1 在最终答案前展示显式思维链，用数学、代码与科学问题的准确性换取延迟。 训练流程最有趣。深度求索从 V3-Base 出发，采用多阶段流程：强化学习冷启动、两个发现并打磨推理行为的 RL 阶段，以及两次监督微调。配套模型 R1-Zero 仅用纯 RL、无任何监督冷启动训练——用以证明推理可从 RL 单独涌现。配套论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》（arXiv 2501.12948）后来登上了《自然》。 RL 方法使用可验证奖励——数学正确性、代码执行、格式检查——而非学习型奖励模型。这一选择连同 GRPO 算法，成为开源社区广泛复制的模板。 ## 引发关注的数字 深度求索公布的分数让 R1 在多处与 o1 并列甚至超越： - AIME 2024：79.8%（pass@1）。 - MATH-500：97.3%。 - GPQA-Diamond：71.5%。 - MMLU：90.8%。 - Codeforces：第 96 百分位。 - SWE-bench Verified：解决 49.2%。 - LiveCodeBench：65.9%。 发布时 API 定价约为每百万输入词元 0.55 美元、每百万输出词元 2.19 美元——远低于 o1：当时 o1 约 15 美元/百万输入、60 美元/百万输出。比起任何单一基准，正是这道鸿沟震动了市场：一个前沿级推理大模型，以 incumbent 价格的一小部分即可获得。 ## 蒸馏到日常硬件 除旗舰外，深度求索发布了基于 Qwen 2.5 与 Llama 3 的六个蒸馏模型，尺寸 1.5B 到 70B。它们保留了 R1 大部分推理行为，却能在单张消费级或数据中心 GPU 上运行。70B 蒸馏变体尤其成为开发者的常见本地之选——想要 R1 级推理又不想配多卡集群的人。 开源发布引发了一波衍生模型——几天内 Hugging Face 上超过 500 个模型——以及一波复现尝试（TinyZero、Open-R1、SimpleRL），都想重做这套配方。 ## 为何重要 在 R1 之前，强推理被视为闭源模型优势。R1 抬高了门槛：开源大模型也能推理、能自托管、且价格低廉。该应用一度登顶美国 App Store，而成本披露直接点燃了关于前沿训练到底需要多少算力的更广泛争论。 论文方法获得的关注不亚于模型本身。通过展示纯 RL 模型（R1-Zero）无需人工标注思维链就能发展出连贯推理，深度求索暗示：瓶颈在数据而非仅参数，且可验证奖励能在规模上替代昂贵的人工标注。这个想法传播得很快：数周内，独立实验室已在更小模型上复现配方，"推理模型"一词也从闭源标签变成任何团队都可尝试的东西。这次发布也推动其他中国实验室比计划更早开放自己的推理权重。 ## 坦诚的局限 - R1 仅支持文本，没有视觉或音频。 - 其 SWE-bench Verified 分数（49.2%）落后于后来聚焦编码的模型，包括此后发布的部分开源模型。 - 醒目基准数字来自深度求索自报，在其自有测试框架与尝试次数下测得，应作方向性而非绝对。 - 最早的第一方 API 端点已被重新映射至更新的深度求索模型；R1 权重仍在 Hugging Face 与第三方托管，但"R1"的 API 标签不再总指向这个确切检查点。 需要说明，DeepSeek-R1 是纯文本大模型，并非多模态模型，不处理图像或语音。 ## 普通人现在能做什么 1. 用 Ollama 或 llama.cpp 在本地跑一个蒸馏版 R1（基于 Qwen 的 7B 或 8B 版本），在单张 GPU 上免费体验开源推理。 2. 如果你做数学或代码工具，先在自有任务上把 R1 与闭源推理模型对比基准，再决定是否付溢价。 3. 若你训练模型，去读 GRPO 论文——可验证奖励这份配方，是开源生态中被复用最多的部分。 --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-96c1fb 本内容仅供参考，不构成投资建议。