DeepSeek-V4：迈向高效百万token上下文智能

技术报告👁️

简介

我们推出DeepSeek-V4系列的预览版本，包含两款强大的混合专家（Mixture-of-Experts, MoE）语言模型——总参数1.6万亿（激活490亿）的DeepSeek-V4-Pro和总参数2840亿（激活130亿）的DeepSeek-V4-Flash，两者均支持一百万token的上下文长度。

DeepSeek-V4系列在架构与优化方面进行了多项关键升级：

1. 混合注意力架构：我们设计了一种结合压缩稀疏注意力（Compressed Sparse Attention, CSA）和深度压缩注意力（Heavily Compressed Attention, HCA）的混合注意力机制，显著提升了长上下文效率。在百万token上下文场景下，DeepSeek-V4-Pro的单token推理计算量（FLOPs）仅为DeepSeek-V3.2的27%，KV缓存占用仅为10%。
2. 流形约束超连接（mHC）：我们引入mHC来增强传统残差连接，在保持模型表达能力的同时，提升了跨层信号传播的稳定性。
3. Muon优化器：我们采用Muon优化器以实现更快的收敛速度和更高的训练稳定性。

我们在超过32万亿个多样化、高质量的token上对两款模型进行了预训练，并随后实施了全面的后训练流程。后训练采用两阶段范式：首先通过监督微调（SFT）和基于GRPO的强化学习独立培养特定领域专家，然后通过有策略蒸馏进行统一模型整合，将不同领域的独特能力集成到单个模型中。

DeepSeek-V4-Pro-Max作为DeepSeek-V4-Pro的最大推理努力模式，显著提升了开源模型的知识能力，稳居当前最佳开源模型之列。它在编码基准测试中表现顶尖，并大幅缩小了在推理和智能体任务上与领先闭源模型的差距。同时，DeepSeek-V4-Flash-Max在给予更大思考预算时，能达到与Pro版本相当的推理性能，尽管其较小的参数规模使其在纯知识任务和最复杂的智能体工作流上自然略逊一筹。

模型下载

*FP4 + FP8 混合精度：MoE 专家参数采用 FP4 精度；其他大部分参数采用 FP8 精度。

评估结果

基础模型

指令模型

DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 均支持三种推理力度模式：

DeepSeek-V4-Pro-Max 与前沿模型对比

不同模式对比

聊天模板

本版本未包含 Jinja 格式的聊天模板。相反，我们提供了一个专用的 encoding 文件夹，其中包含 Python 脚本和测试用例，展示了如何将 OpenAI 兼容格式的消息编码为模型的输入字符串，以及如何解析模型的文本输出。完整文档请参考 encoding 文件夹。

简要示例：

from encoding_dsv4 import encode_messages, parse_message_from_completion_text

messages = [
    {"role": "user", "content": "hello"},
    {"role": "assistant", "content": "Hello! I am DeepSeek.", "reasoning_content": "thinking..."},
    {"role": "user", "content": "1+1=?"}
]

# messages -> string
prompt = encode_messages(messages, thinking_mode="thinking")

# string -> tokens
import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4-Pro")
tokens = tokenizer.encode(prompt)

如何本地运行

有关本地运行 DeepSeek-V4 的详细说明，包括模型权重转换和交互式聊天演示，请参考 推理 文件夹。

对于本地部署，我们建议将采样参数设置为 temperature = 1.0，top_p = 1.0。对于 Think Max 推理模式，我们建议将上下文窗口设置为至少 384K 个 tokens。

许可证

本仓库和模型权重采用 MIT 许可证 授权。

引用

@misc{deepseekai2026deepseekv4,
      title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
      author={DeepSeek-AI},
      year={2026},
}

联系方式

若您有任何疑问，请提交 issue 或通过邮箱 service@deepseek.com 与我们联系。