DeepSeek-V4：迈向高效的百万token上下文智能

技术报告👁️

注意：DeepSeek-V4-Flash-DSpark并非新模型。它与原模型 checkpoint 相同，只是附加了一个推测性解码模块。inference 文件夹中提供了一个最小化推理示例。更多详情，请参考：https://github.com/deepseek-ai/DeepSpec

简介

我们推出DeepSeek-V4系列的预览版本，其中包含两款强大的混合专家（MoE）语言模型——拥有1.6万亿参数（激活490亿）的DeepSeek-V4-Pro和拥有2840亿参数（激活130亿）的DeepSeek-V4-Flash，两者均支持一百万token的上下文长度。

DeepSeek-V4系列在架构与优化方面进行了多项关键升级：

1. 混合注意力架构：我们设计了一种融合压缩稀疏注意力（CSA）与深度压缩注意力（HCA）的混合注意力机制，显著提升长上下文处理效率。在100万token上下文场景下，DeepSeek-V4-Pro的单token推理FLOPs仅为DeepSeek-V3.2的27%，KV缓存占用仅为10%。
2. 流形约束超连接（mHC）：我们引入mHC以增强传统残差连接，在保持模型表达能力的同时，提升跨层信号传播的稳定性。
3. Muon优化器：我们采用Muon优化器以实现更快的收敛速度和更高的训练稳定性。

我们在超过32万亿个多样化、高质量的token上对这两款模型进行预训练，随后执行全面的后训练流程。后训练采用两阶段范式：首先通过监督微调（SFT）和基于GRPO的强化学习（RL）独立培养特定领域专家，然后通过在策略蒸馏进行统一模型整合，将不同领域的独特能力集成到单个模型中。

DeepSeek-V4-Pro-Max作为DeepSeek-V4-Pro的最大推理努力模式，显著提升了开源模型的知识能力，稳居当前最佳开源模型之列。它在代码基准测试中表现顶尖，并大幅缩小了在推理和智能体任务上与领先闭源模型的差距。同时，DeepSeek-V4-Flash-Max在给予更大思考预算时，能达到与Pro版本相当的推理性能，不过其较小的参数规模使其在纯知识任务和最复杂的智能体工作流上自然略逊一筹。

模型下载

*FP4 + FP8 混合精度：MoE 专家参数采用 FP4 精度；其他大部分参数采用 FP8 精度。

评估结果

基础模型

指令模型

DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 均支持三种推理努力模式：

DeepSeek-V4-Pro-Max 与前沿模型对比

不同模式间的对比

聊天模板

本版本不包含 Jinja 格式的聊天模板。相反，我们提供了一个专用的 encoding 文件夹，其中包含 Python 脚本和测试用例，展示了如何将 OpenAI 兼容格式的消息编码为模型的输入字符串，以及如何解析模型的文本输出。完整文档请参考 encoding 文件夹。

简单示例：

from encoding_dsv4 import encode_messages, parse_message_from_completion_text

messages = [
    {"role": "user", "content": "hello"},
    {"role": "assistant", "content": "Hello! I am DeepSeek.", "reasoning_content": "thinking..."},
    {"role": "user", "content": "1+1=?"}
]

# messages -> string
prompt = encode_messages(messages, thinking_mode="thinking")

# string -> tokens
import transformers
tokenizer = transformers.AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-V4-Pro")
tokens = tokenizer.encode(prompt)

如何使用 vLLM 运行

只需添加一个标志即可启用 DSpark 投机解码——在您的 vLLM 启动命令中添加 --speculative-config 并指定方法为 dspark：

--speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'

例如，以下命令可在单个 4×GB300 节点上使用 vLLM 部署模型。 有关详细说明和其他硬件配置，请参见 vLLM 指南。

vllm serve deepseek-ai/DeepSeek-V4-Flash-DSpark \
  --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \
  --data-parallel-size 4 --enable-expert-parallel \
  --moe-backend deep_gemm_mega_moe \
  --attention-config '{"use_fp4_indexer_cache": true}' \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'

如何本地运行

有关本地运行 DeepSeek-V4 的详细说明，包括模型权重转换和交互式聊天演示，请参考 推理 文件夹。

对于本地部署，我们建议将采样参数设置为 temperature = 1.0, top_p = 1.0。对于 Think Max 推理模式，我们建议将上下文窗口至少设置为 384K 个 token。

许可证

本仓库和模型权重均遵循 MIT 许可证。

引用

@misc{deepseekai2026deepseekv4,
      title={DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence},
      author={DeepSeek-AI},
      year={2026},
}

联系方式

如有任何问题，请提交 issue 或通过 service@deepseek.com 与我们联系。