DeepSeek-V4：迈向高效百万token上下文智能

技术报告👁️

简介

我们推出DeepSeek-V4系列的预览版本，包含两款强大的混合专家（Mixture-of-Experts, MoE）语言模型——参数规模为1.6T（激活49B）的DeepSeek-V4-Pro，以及参数规模为284B（激活13B）的DeepSeek-V4-Flash，两者均支持一百万token的上下文长度。

DeepSeek-V4系列在架构与优化方面实现了多项关键升级：

1. 混合注意力架构：我们设计了一种融合压缩稀疏注意力（Compressed Sparse Attention, CSA）与深度压缩注意力（Heavily Compressed Attention, HCA）的混合注意力机制，显著提升长上下文处理效率。在1M token上下文场景下，DeepSeek-V4-Pro的单token推理FLOPs仅为DeepSeek-V3.2的27%，KV缓存占用仅为其10%。
2. 流形约束超连接（mHC）：我们引入mHC以增强传统残差连接，在保留模型表达能力的同时，提升跨层信号传播的稳定性。
3. Muon优化器：我们采用Muon优化器，以实现更快的收敛速度和更高的训练稳定性。

我们在超过32T的多样化高质量token上对两款模型进行预训练，随后执行全面的后训练流程。后训练采用两阶段范式：首先通过有监督微调（SFT）和带GRPO的强化学习（RL）独立培养特定领域专家，然后通过有策略蒸馏进行统一模型整合，将不同领域的独特能力集成到单个模型中。

DeepSeek-V4-Pro-Max作为DeepSeek-V4-Pro的最大推理努力模式，显著提升了开源模型的知识能力，稳居当前最佳开源模型之列。它在代码基准测试中表现顶尖，并大幅缩小了与领先闭源模型在推理和智能体任务上的差距。同时，DeepSeek-V4-Flash-Max在给予更大思考预算时，能达到与Pro版本相当的推理性能，尽管其较小的参数规模使其在纯知识任务和最复杂的智能体工作流上自然略逊一筹。

模型下载

*FP4 + FP8 混合精度：MoE 专家参数采用 FP4 精度；其他大部分参数采用 FP8 精度。

评估结果

基础模型

指令模型

DeepSeek-V4-Pro 与 DeepSeek-V4-Flash 均支持三种推理努力模式：

DeepSeek-V4-Pro-Max 与前沿模型对比

不同模式间的对比

对话模板

本版本未包含 Jinja 格式的对话模板。相反，我们提供了一个专用的 encoding 文件夹，其中包含 Python 脚本和测试用例，展示了如何将 OpenAI 兼容格式的消息编码为模型的输入字符串，以及如何解析模型的文本输出。完整文档请参考 encoding 文件夹。

一个简单示例：

from encoding_dsv4 import encode_messages, parse_message_from_completion_text

messages = [
    {"role": "user", "content": "hello"},
    {"role": "assistant", "content": "Hello! I am DeepSeek.", "reasoning_content": "thinking..."},
    {"role": "user", "content": "1+1=?"}
]

# messages -> string
prompt = encode_messages(messages, thinking_mode="thinking")

# string -> tokens
import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4-Pro")
tokens = tokenizer.encode(prompt)

如何本地运行

有关本地运行 DeepSeek-V4 的详细说明，包括模型权重转换和交互式聊天演示，请参考 推理 文件夹。

对于本地部署，我们建议将采样参数设置为 temperature = 1.0, top_p = 1.0。对于 Think Max 推理模式，我们建议将上下文窗口设置为至少 384K tokens。

许可证

本仓库和模型权重采用 MIT 许可证 授权。

引用

@misc{deepseekai2026deepseekv4,
      title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
      author={DeepSeek-AI},
      year={2026},
}

联系方式

若您有任何疑问，请提交 issue 或通过 service@deepseek.com 与我们联系。