DeepSeek-R1

论文链接👁️

1. 引言

我们推出了第一代推理模型：DeepSeek-R1-Zero 和 DeepSeek-R1。 DeepSeek-R1-Zero 是一款未经监督微调（SFT）预处理步骤，直接通过大规模强化学习（RL）训练的模型，在推理任务上展现出卓越性能。 借助强化学习，DeepSeek-R1-Zero 自然涌现出众多强大且有趣的推理行为。 然而，DeepSeek-R1-Zero 面临着诸如无限重复、可读性欠佳及语言混用等问题。为解决这些问题并进一步提升推理性能， 我们推出了在强化学习前融入冷启动数据的 DeepSeek-R1。 DeepSeek-R1 在数学、代码及推理任务上的性能可与 OpenAI-o1 相媲美。 为支持研究社区，我们开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及六个基于 Llama 和 Qwen 从 DeepSeek-R1 蒸馏得到的密集型模型。其中，DeepSeek-R1-Distill-Qwen-32B 在多个基准测试中性能超越 OpenAI-o1-mini，刷新了密集型模型的最新技术水平。

注意：在本地运行 DeepSeek-R1 系列模型前，建议先查阅使用建议部分。

2. 模型概述

后训练：在基础模型上进行大规模强化学习

• 我们直接在基础模型上应用强化学习（RL），不依赖监督微调（SFT）作为预处理步骤。这种方法使模型能够自主探索思维链（CoT）以解决复杂问题，进而开发出 DeepSeek-R1-Zero。DeepSeek-R1-Zero 展现出自我验证、反思以及生成冗长思维链等能力，为研究社区树立了重要里程碑。值得注意的是，这是首个公开研究证实，大型语言模型（LLMs）的推理能力可以纯粹通过强化学习激发，而无需监督微调。这一突破为该领域未来的发展铺平了道路。

• 我们介绍了用于开发 DeepSeek-R1 的流程。该流程包含两个强化学习阶段，旨在发现更优的推理模式并与人类偏好对齐，以及两个监督微调阶段，作为模型推理能力和非推理能力的种子。我们相信此流程将助力行业打造更优秀的模型。

模型蒸馏：更小的模型也能拥有强大能力

• 我们证明，较大模型的推理模式可以被蒸馏到较小模型中，所得模型的性能优于通过在小模型上直接应用强化学习所发现的推理模式。开源的 DeepSeek-R1 及其 API 将有助于研究社区在未来蒸馏出更优的小型模型。
• 利用 DeepSeek-R1 生成的推理数据，我们对研究社区广泛使用的多个密集型模型进行了微调。评估结果显示，这些蒸馏得到的小型密集模型在基准测试中表现优异。我们向社区开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、7B、8B、14B、32B 和 70B 蒸馏模型 checkpoint。

3. 模型下载

DeepSeek-R1 模型

DeepSeek-R1-Zero 与 DeepSeek-R1 均基于 DeepSeek-V3-Base 训练而成。 有关模型架构的更多详情，请参阅 DeepSeek-V3 代码库。

DeepSeek-R1-Distill 模型

DeepSeek-R1-Distill 系列模型是在开源模型的基础上，利用 DeepSeek-R1 生成的样本进行微调得到的。 我们对这些模型的配置文件和分词器稍作修改。请使用我们提供的设置来运行这些模型。

4. 评估结果

DeepSeek-R1-评估

我们所有模型的最大生成长度均设置为 32,768 个 token。对于需要采样的基准测试，我们使用 0.6 的温度参数、0.95 的 top-p 值，并为每个查询生成 64 个响应以估算 pass@1 指标。

蒸馏模型评估

5. 聊天网站与API平台

您可以在深度求索官方网站 chat.deepseek.com 与 DeepSeek-R1 进行对话，并开启“深度思考”（DeepThink）功能按钮。

我们还在深度求索平台 platform.deepseek.com 提供了兼容 OpenAI 的 API 服务。

6. 本地运行方法

DeepSeek-R1 模型

关于 DeepSeek-R1 的本地运行详情，请访问 DeepSeek-V3 代码仓库。

注意：目前暂不直接支持 Hugging Face 的 Transformers 库。

DeepSeek-R1-Distill 模型

DeepSeek-R1-Distill 模型的使用方式与 Qwen 或 Llama 模型一致。

例如，您可以通过 vLLM 轻松启动服务：

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

您也可以使用 SGLang 轻松启动服务。

python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --trust-remote-code --tp 2

使用建议

为获得预期性能，在使用DeepSeek-R1系列模型（包括进行基准测试）时，我们建议遵循以下配置：

1. 将temperature设置在0.5-0.7范围内（推荐0.6），以防止输出内容出现无休止重复或不连贯的情况。
2. 避免添加系统提示词；所有指令均应包含在用户提示词中。
3. 对于数学问题，建议在提示词中加入类似这样的指令：“请逐步推理，并将最终答案放在\boxed{}内。”
4. 在评估模型性能时，建议进行多次测试并取结果的平均值。

此外，我们观察到DeepSeek-R1系列模型在应对某些查询时，可能会跳过思考模式（即不输出“<think>\n\n</think>”），这可能会对模型性能产生不利影响。 为确保模型进行充分推理，我们建议强制模型在每次输出的开头以“<think>\n”开始作答。

7. 许可证

本代码仓库及模型权重采用MIT许可证授权。 DeepSeek-R1系列支持商业用途，允许进行任何修改和衍生作品创作，包括但不限于通过蒸馏来训练其他LLM。请注意：

• DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B和DeepSeek-R1-Distill-Qwen-32B衍生自Qwen-2.5系列，其原始许可证为Apache 2.0许可证，目前已使用800k由DeepSeek-R1精心筛选的样本进行微调。
• DeepSeek-R1-Distill-Llama-8B衍生自Llama3.1-8B-Base，其原始许可证为llama3.1许可证。
• DeepSeek-R1-Distill-Llama-70B衍生自Llama3.3-70B-Instruct，其原始许可证为llama3.3许可证。

8. 引用格式

@misc{deepseekai2025deepseekr1incentivizingreasoningcapability,
      title={DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}, 
      author={DeepSeek-AI},
      year={2025},
      eprint={2501.12948},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2501.12948}, 
}

9. 联系方式

如有任何问题，请提交 issue 或通过 service@deepseek.com 与我们联系。