DeepSeek-V4.1-Flash：突破 KV Cache 压缩极限
介绍
我们提出 DeepSeek-V4.1-Flash，一个多模态混合专家（MoE）模型，拥有 552B 主干参数，并支持最长一百万 token 的上下文。该模型原生处理图像和文本，并以自回归方式生成文本。
架构。 DeepSeek-V4.1-Flash 采用 因果编码器-解码器（CED） 架构：一个 40 层 Transformer，由 20 层因果编码器和后接的 20 层解码器组成。借助 CED，解码器的全局 KV Cache 由编码器最终隐藏状态投影得到，而不是来自每个解码器层自身的隐藏状态。这使得模型在 prefill 阶段每个 token 仅激活 8B 参数，decode 阶段仅激活 16B 参数，显著提升了输入密集型智能体工作负载的成本效率。SWA Bounded Replay 通过仅重放最近 n_win 个 token 来重建缺失的 SWA KV 状态，避免需要将 SWA KV 持久化到 SSD，并将持久化 KV Cache 占用降低至约为 DeepSeek-V4-Flash 的 1/8。
Compressed Sparse Attention 2（CSA2）。 DeepSeek-V4.1-Flash 使用 CSA2，为每个注意力层分配三种静态模式之一——Full、Reindex 或 Reuse——用于跨层共享主 KV 和 indexer K，并复用 Top-K 稀疏注意力索引。在解码器中，Hierarchical Sparse Indexer 进一步将后续索引层限制到由第一个 Full Mode 层构建的候选池，并将更深索引层的成本约束在与上下文长度无关的范围内。结合 FP4 主 KV 缓存（E2M1 格式，每 16 个通道一个 E4M3 缩放因子），这些设计将全局 KV Cache 占用降低至每 token 890 字节——约为 DeepSeek-V4-Flash 的 1/4。
其他架构组件包括 Single-Pass mHC（改进的残差流混合，并采用高效 Mega-mHC kernel）、Engram 条件记忆（196B 参数，通过基于 token 的查找进行稀疏访问）以及 DSpark 推测解码（半自回归草稿生成，并采用置信度调度验证）。模型每个 MoE 层使用 1 个共享专家和 384 个路由专家，每个 token 激活 6 个路由专家。
多模态架构。 视觉编码器（DeepSeek-ViT，从零开始训练，采用 2D-RoPE 和 3×3 像素反混洗下采样）与两层 MLP projector 将图像转换为视觉嵌入；这些视觉嵌入从语言模型预训练开始阶段起，便与文本嵌入联合处理。
预训练。 DeepSeek-V4.1-Flash 在一个由 45T token 组成的多模态语料库上从零开始训练，其中稀疏注意力在 64K 序列长度下训练，并在训练至 34T token 时将上下文扩展至 1M token。
后训练。 后训练流程遵循标准的 SFT → RL → on-policy distillation（OPD）范式，且未进行算法修改。所有实质性改动则体现在数据流程中：大规模自动化合成智能体任务和环境，并对数据、任务和 rollout 进行渐进式扩展。模型支持一个连续可调的推理强度设置（整数 1–100），以推理成本换取精度。
图 1. (a) DeepSeek-V4.1-Flash 及同类模型在智能体基准上的性能。(b) DeepSeek 各代模型每 token 全局 KV Cache 大小（字节）。DeepSeek-V4.1-Flash 相较于 DeepSeek-V4-Flash 和 DeepSeek-V1 分别实现约 4 倍和 437 倍的降低。
评测结果
基础模型
所有基础模型均在我们内部框架中，以相同的评测设置进行评估。分数相差 0.3 以内视为相当。
| 基准测试（指标） | 提示示例数 | DeepSeek-V4-Flash-Base | DeepSeek-V4-Pro-Base | DeepSeek-V4.1-Flash-Base |
|---|---|---|---|---|
| 架构 | — | MoE | MoE | MoE |
| 主干参数量 | — | 284B | 1.6T | 552B |
| 激活参数量 | — | 13B | 49B | 8B / 16B |
| 世界知识 | ||||
| AGIEval (EM) | 3–5-shot | 83.9 | 84.4 | 83.4 |
| MMLU-Pro (EM) | 5-shot | 68.3 | 73.5 | 74.1 |
| C-Eval (EM) | 5-shot | 92.1 | 93.1 | 92.1 |
| MultiLoKo (LLM-Judge) | 5-shot | 42.6 | 50.9 | 45.5 |
| SimpleQA-Verified (EM) | 25-shot | 30.1 | 55.2 | 42.3 |
| SuperGPQA (EM) | 5-shot | 46.5 | 53.9 | 53.1 |
| 语言与推理 | ||||
| BBH (EM) | 3-shot | 86.9 | 87.5 | 86.1 |
| BBEH (EM) | 1-shot | 25.4 | 29.8 | 27.2 |
| DROP (F1) | 1-shot | 88.6 | 88.7 | 87.9 |
| HellaSwag (EM) | 0-shot | 85.7 | 88.0 | 87.2 |
| 代码与数学 | ||||
| BigCodeBench (Pass@1) | 3-shot | 56.8 | 59.2 | 60.6 |
| HumanEval (Pass@1) | 0-shot | 69.5 | 76.8 | 79.4 |
| GSM8K (EM) | 8-shot | 90.8 | 92.6 | 93.0 |
| MATH (EM) | 4-shot | 57.4 | 64.5 | 61.1 |
| MGSM (EM) | 8-shot | 85.7 | 84.4 | 80.2 |
| 长上下文 | ||||
| LongBench-V2 (EM) | 1-shot | 44.7 | 51.5 | 45.2 |
| 多模态 | ||||
| MMMU-Pro (EM) | 4-shot | — | — | 56.5 |
| CVBench (EM) | 4-shot | — | — | 77.9 |
| DocVQA (LLM-Judge) | 4-shot | — | — | 95.6 |
| RefCOCO-avg (Acc@0.5) | 0-shot | — | — | 86.0 |
指令模型
DeepSeek-V4.1-Flash 支持 1 到 100 的连续可调推理强度。以下所有指令模型结果均采用最大推理强度设置（reasoning_effort=100）。评测使用 temperature=1.0, top_p=0.95。
对于代码智能体基准测试（Terminal-Bench 2.1/3.0/4.0、DeepSWE v1.1、NL2Repo-Bench、ProgramBench），模型采用 DeepSeek Harness 的 Minimal 模式及 1M token 上下文窗口进行评估。为与官方配置要求保持一致，DeepSWE v1.1 使用 mini-SWE harness，SEC-Bench Pro 使用 Claude Code harness。视觉智能体基准测试（Chartography、BabyVision、ZeroBench）使用 Claude Code harness，并配置 512k token 上下文窗口。Agent's Last Exam 和 AutomationBench 使用其官方脚手架。所有智能体评测均使用 temperature=1.0, top_p=0.95。
与前沿模型对比（最大推理强度）
| 基准测试（指标） | Opus-5.0 | GPT-5.6 Sol | K3 | GLM-5.3 | DS-V4-Pro | DS-V4-Flash | DS-V4.1-Flash |
|---|---|---|---|---|---|---|---|
| 推理 | |||||||
| GPQA Diamond (Pass@1) | 93.4 | 94.1 | 92.9 | 88.1 | 92.4 | 89.9 | 90.9 |
| HLE (Pass@1) | 56.3 | 44.5 | 43.5 | 42.0† | 42.7† | 37.8† | 36.8 (39.1†) |
| Codeforces (评分) | — | — | — | — | 3348 | 3289 | 3471 |
| MathArena Apex (Pass@1) | — | — | 65.6 | — | 65.3 | 58.6 | 65.6 |
| 智能体 | |||||||
| Terminal-Bench 2.1 (Pass@1) | 89.1 | 88.8 | 88.3 | 88.2 | 87.9 | 82.7 | 90.6 |
| Terminal-Bench 3.0 (Pass@1) | 43.3 | 34.4 | 17.7 | 28.3 | 11.8 | 7.6 | 30.0 |
| Terminal-Bench 4.0 (Pass@1) | 51.8 | 39.9 | 12.6 | 37.9 | 12.4 | 7.0 | 31.2 |
| DeepSWE v1.1 (解决率) | 74.0 | 73.0 | 67.5 | 66.9 | 62.7 | 54.4 | 74.2 |
| ProgramBench (Almost@1) | 37.0 | 23.0 | 17.5 | 19.0 | 15.5 | — | 20.3 |
| NL2Repo-Bench (得分) | 75.3 | 56.8 | 58.0 | 58.0 | 61.5 | 54.2 | 64.0 |
| CyberGym (Pass@1) | — | 84.5 | 80.0 | 84.5 | 83.3 | 76.7 | 88.1 |
| SEC-Bench Pro (Pass@1) | — | 74.3 | — | — | 56.4 | 30.9 | 62.8 |
| ExploitGym (Pass@1) | 22.1 | 33.7 | — | 15.0 | 5.4 | 1.8 | 15.3 |
| HLE w/ tools (Pass@1) | 63.6 | — | 59.8 | 62.5 | 60.0 | 51.5 | 63.9 |
| AutomationBench (Pass@1) | 50.3 | 45.8 | 46.7 | 48.8 | 43.2 | 37.7 | 54.8 |
| Agent's Last Exam (Pass@1) | 28.6 | 26.7 | 27.6 | 28.5 | 25.7 | 25.2 | 31.8 |
| Chartography w/ tools (Pass@1) | 84.0 | 79.9 | 68.1 | — | — | — | 78.9 |
| BabyVision w/ tools (Pass@1) | 94.1 | 88.9 | 85.7 | — | — | — | 89.6 |
| ZeroBench-main w/ tools (Pass@5) | 52.0 | 53.0 | 41.0 | — | — | — | 49.0 |
† HLE 的纯文本子集。
不同智能体脚手架下的表现（DeepSWE v1.1 与 Terminal-Bench 2.1，最大推理强度）
所有脚手架在 DeepSWE v1.1 上每任务使用 N=8 个样本，在 Terminal-Bench 2.1 上每任务使用 N=3 个样本，并采用 Linux 容器、temperature=1.0、top_p=0.95、1M token 上下文限制，以及每个智能体 max_steps=500。Terminal-Bench 2.1 在无网络访问条件下评测。
| 基准测试（指标） | Claude Code | Codex | OpenCode | Pi | mini-SWE | DSH Minimal | DSH Standard | DSH PTC |
|---|---|---|---|---|---|---|---|---|
| DeepSWE v1.1 (解决率) | 69.8 | 65.6 | 65.5 | 66.2 | 74.2 | 72.6 | 70.5 | 67.6 |
| Terminal-Bench 2.1 (Pass@1) | 88.0 | 84.1 | 85.0 | 86.1 | 90.3 | 90.6 | 85.8 | 85.8 |
提示编码
本次发布不包含 Jinja 格式聊天模板。encoding 文件夹包含一个自包含的 Python 参考实现（encoding.py），并提供多轮对话、工具调用、思考模式、数值型推理力度、对话中途系统消息以及图文交错内容的测试用例。
面向生产环境，我们还额外发布了 deepseek-recipe，这是一组带 Python 绑定的 Rust 库，以持续维护、协议感知的工具包形式提供相同的提示格式。它可将 Messages、Chat Completions 和 Responses API 请求转换为 Conversation 格式，将其编码为 DeepSeek V4 和 V4.1 提示词或 token ID，并将模型输出解析为完整响应或流式响应——涵盖思考、工具调用、图像和生成设置。模型推理、工具执行和 HTTP 传输由调用方负责。
最简推理
请参考 inference 文件夹中的权重转换与本地运行推理说明。
推荐采样参数：
| 参数 | 值 |
|---|---|
temperature | 1.0 |
top_p | 0.95 or 1.0 |
context_window | 1M tokens |
max_tokens | ≥ 256K |
复现 DeepSWE 基准测试结果
evaluation 文件夹包含复现 DeepSWE v1.1 基准测试结果的逐步说明，覆盖 dsh-minimal agent 和官方 mini-swe-agent。集成 dsh-minimal 与 Pier 所需的补丁也包含在其中。
许可证
本仓库和模型权重均基于 MIT License 授权。
引用
@misc{deepseekai2026deepseekv41flash,
title={DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression},
author={DeepSeek-AI},
year={2026},
}联系方式
如有任何问题，请提交 issue 或联系 service@deepseek.com。