Qwen3.5-35B-A3B

[!Note] 本仓库包含采用 Hugging Face Transformers 格式的后训练模型的权重及配置文件。

这些制品与 Hugging Face Transformers、vLLM、SGLang、KTransformers 等工具兼容。

[!Tip] 对于寻求无需维护基础设施的托管式、可扩展推理服务的用户，阿里云 Model Studio 提供了官方 Qwen API 服务，详情请见 Alibaba Cloud Model Studio。

特别地，Qwen3.5-Flash 是与 Qwen3.5-35B-A3B 对应的托管版本，具备更多生产级特性，例如默认支持 100 万上下文长度以及官方内置工具。 更多信息，请参考 用户指南。

近几个月来，我们持续加大投入，致力于开发兼具卓越实用性与性能的基础模型。Qwen3.5 实现了重大突破，融合了多模态学习、架构效率、强化学习规模以及全球化可访问性等方面的创新成果，为开发者和企业提供前所未有的能力与效率。

Qwen3.5 亮点

Qwen3.5 主要包含以下增强特性：

• 统一视觉-语言基础：通过对多模态 token 进行早期融合训练，实现了与 Qwen3 相当的跨代性能，并在推理、代码生成、智能体及视觉理解等基准测试中超越了 Qwen3-VL 系列模型。

• 高效混合架构：门控 Delta 网络结合稀疏混合专家（Mixture-of-Experts）机制，在实现高吞吐量推理的同时，将延迟和成本开销降至最低。

• 可扩展强化学习泛化能力：在包含数百万智能体的环境中扩展强化学习，并结合逐步复杂的任务分布，以实现稳健的真实世界适应性。

• 全球语言覆盖：扩展支持 201 种语言及方言，凭借细致的文化与地域理解能力，实现包容性的全球部署。

• 新一代训练基础设施：多模态训练效率接近文本训练的 100%，异步强化学习框架支持大规模智能体支架与环境编排。

更多详情，请参阅我们的博客文章 Qwen3.5。

模型概述

• 类型：带视觉编码器的因果语言模型
• 训练阶段：预训练与后训练
• 语言模型
  • 参数数量：总计350亿，激活30亿
  • 隐藏维度：2048
  • 词嵌入：248320（含填充）
  • 层数：40
  • 隐藏层结构：10 × (3 × (门控DeltaNet → MoE) → 1 × (门控注意力 → MoE))
  • 门控DeltaNet：
    • 线性注意力头数：V为32，QK为16
    • 头维度：128
  • 门控注意力：
    • 注意力头数：Q为16，KV为2
    • 头维度：256
    • 旋转位置嵌入维度：64
  • 混合专家（MoE）：
    • 专家数量：256
    • 激活专家数量：8个路由专家 + 1个共享专家
    • 专家中间维度：512
  • 语言模型输出：248320（含填充）
  • MTP：采用多步训练
• 上下文长度：原生支持262,144 tokens，可扩展至1,010,000 tokens

基准测试结果

语言能力

* CodeForces：基于我们自己的查询集进行评估。
* TAU2-Bench：我们遵循官方设置，但在航空领域除外，所有模型均通过应用Claude Opus 4.5系统说明中提出的修复方案进行评估。
* 搜索智能体：大多数基于我们模型构建的搜索智能体采用简单的上下文折叠策略（256k）：一旦工具响应的累积长度达到预设阈值，就会从历史记录中修剪较早的工具响应，以将上下文保持在限制范围内。
* WideSearch：我们使用256k上下文窗口，不进行任何上下文管理。
* MMLU-ProX：我们报告29种语言的平均准确率。
* WMT24++：WMT24的一个更难子集，经过难度标记和重新平衡；我们使用XCOMET-XXL报告55种语言的平均分数。
* MAXIFE：我们报告英语+多语言原始提示（共23种设置）的准确率。
* 空单元格（--）表示分数尚未公布或不适用。

视觉语言

快速开始

[!Important] Qwen3.5 模型默认启用思考模式，在生成最终响应前会先产生以 </think>\n...</think>\n\n 标识的思考内容。 如需禁用思考内容并获得直接响应，请参考此处的示例。

为方便集成，我们建议通过 API 使用 Qwen3.5。以下是通过兼容 OpenAI 的 API 使用 Qwen3.5 的指南。

部署 Qwen3.5

Qwen3.5 可通过主流推理框架以 API 形式部署。 下面展示启动 Qwen3.5 模型的兼容 OpenAI API 服务器的示例命令。

[!Important] 不同框架的推理效率和吞吐量差异显著。 建议使用最新版本的框架，以确保最佳性能和兼容性。 对于生产工作负载或高吞吐量场景，强烈推荐使用 SGLang、KTransformers 或 vLLM 等专用服务引擎。

[!Important] 模型默认上下文长度为 262,144 个 token。 若遇到内存不足（OOM）错误，可考虑减小上下文窗口。 但由于 Qwen3.5 利用扩展上下文处理复杂任务，建议保持至少 128K token 的上下文长度以保留思考能力。

SGLang

SGLang 是一个用于大型语言模型和视觉语言模型的快速服务框架。 Qwen3.5 需要使用开源仓库主分支的 SGLang，可在全新环境中通过以下命令安装：

uv pip install 'git+https://github.com/sgl-project/sglang.git#subdirectory=python&egg=sglang[all]'

更多详情请参见其文档。

以下操作将在 http://localhost:8000/v1 创建 API 端点：

• 标准版本：可使用以下命令创建 API 端点，该端点支持最大上下文长度为 262,144 个 token，并通过 8 块 GPU 进行张量并行。

  python -m sglang.launch_server --model-path Qwen/Qwen3.5-35B-A3B --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3

• 工具调用：若要支持工具调用，可使用以下命令。

  python -m sglang.launch_server --model-path Qwen/Qwen3.5-35B-A3B --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --tool-call-parser qwen3_coder

• 多 token 预测（MTP）：推荐使用以下命令进行 MTP：

  python -m sglang.launch_server --model-path Qwen/Qwen3.5-35B-A3B --port 8000 --tp-size 8 --mem-fraction-static 0.8 --context-length 262144 --reasoning-parser qwen3 --speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

vLLM

vLLM 是一款用于大语言模型（LLMs）的高吞吐量且内存高效的推理与服务引擎。 Qwen3.5 需要使用开源仓库主分支的 vLLM，可在全新环境中通过以下命令安装：

uv pip install vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly

有关更多详细信息，请参见其文档。

如需详细的Qwen3.5使用指南，请参阅vLLM Qwen3.5使用说明。

以下操作将在http://localhost:8000/v1创建API端点：

• 标准版本：可使用以下命令创建API端点，其最大上下文长度为262,144 tokens，并在8块GPU上使用张量并行。

  vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 

• 工具调用：要支持工具使用，可使用以下命令。

  vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder 

• 多令牌预测（MTP）：推荐使用以下命令进行MTP：

  vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

• 纯文本模式：以下命令会跳过视觉编码器和多模态分析，以释放内存用于额外的KV缓存：

  vllm serve Qwen/Qwen3.5-35B-A3B --port 8000 --tensor-parallel-size 8 --max-model-len 262144 --reasoning-parser qwen3 --language-model-only

KTransformers

KTransformers是一个灵活的框架，可通过CPU-GPU异构计算体验前沿的LLM推理优化。 要使用KTransformers运行Qwen3.5，请参见KTransformers部署指南。

Hugging Face Transformers

Hugging Face Transformers包含一个轻量级服务器，可用于快速测试和中等负载部署。 运行Qwen3.5需要最新版本的transformers：

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

有关更多详情，请参见其文档。同时，请确保已安装torchvision和pillow。

然后，运行transformers serve以启动服务器，其API端点位于http://localhost:8000/v1；如果有可用的加速器，服务器会将模型部署到加速器上：

transformers serve --force-model Qwen/Qwen3.5-35B-A3B --port 8000 --continuous-batching

通过聊天补全 API 使用 Qwen3.5

聊天补全 API 可通过标准 HTTP 请求或 OpenAI SDK 访问。 这里，我们展示使用 OpenAI Python SDK 的示例。

开始前，请确保已安装该 SDK，并配置好 API 密钥和 API 基础 URL，例如：

pip install -U openai

# Set the following accordingly
export OPENAI_BASE_URL="http://localhost:8000/v1"
export OPENAI_API_KEY="EMPTY"

[!Tip] 建议使用以下采样参数组合进行生成

• 通用任务思考模式：temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0
• 精确编码任务思考模式（如Web开发）：temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
• 通用任务指令（非思考）模式：temperature=0.7, top_p=0.8, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0
• 推理任务指令（非思考）模式：temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

请注意，不同推理框架对采样参数的支持情况有所不同。

纯文本输入

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {"role": "user", "content": "Type \"I love Qwen3.5\" backwards"},
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-35B-A3B",
    messages=messages,
    max_tokens=81920,
    temperature=1.0,
    top_p=0.95,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
    }, 
)
print("Chat response:", chat_response)

图像输入

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
                }
            },
            {
                "type": "text",
                "text": "The centres of the four illustrated circles are in the corners of the square. The two big circles touch each other and also the two little circles. With which factor do you have to multiply the radii of the little circles to obtain the radius of the big circles?\nChoices:\n(A) $\\frac{2}{9}$\n(B) $\\sqrt{5}$\n(C) $0.8 \\cdot \\pi$\n(D) 2.5\n(E) $1+\\sqrt{2}$"
            }
        ]
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-35B-A3B",
    messages=messages,
    max_tokens=81920,
    temperature=1.0,
    top_p=0.95,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
    }, 
)
print("Chat response:", chat_response)

视频输入

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video_url",
                "video_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
                }
            },
            {
                "type": "text",
                "text": "How many porcelain jars were discovered in the niches located in the primary chamber of the tomb?"
            }
        ]
    }
]

# When vLLM is launched with `--media-io-kwargs '{"video": {"num_frames": -1}}'`,
# video frame sampling can be configured via `extra_body` (e.g., by setting `fps`).
# This feature is currently supported only in vLLM.
#
# By default, `fps=2` and `do_sample_frames=True`.
# With `do_sample_frames=True`, you can customize the `fps` value to set your desired video sampling rate.
chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-35B-A3B",
    messages=messages,
    max_tokens=81920,
    temperature=1.0,
    top_p=0.95,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
        "mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
    }, 
)

print("Chat response:", chat_response)

指令（或非思考）模式

[!Important] Qwen3.5 不正式支持 Qwen3 的软切换，即 /think 和 /nothink。

Qwen3.5 默认会在响应前进行思考。 您可以通过配置 API 参数让模型直接响应而不进行思考。 例如，

from openai import OpenAI
# Configured by environment variables
client = OpenAI()

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image_url",
                "image_url": {
                    "url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/RealWorld/RealWorld-04.png"
                }
            },
            {
                "type": "text",
                "text": "Where is this?"
            }
        ]
    }
]

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-35B-A3B",
    messages=messages,
    max_tokens=32768,
    temperature=0.7,
    top_p=0.8,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
        "chat_template_kwargs": {"enable_thinking": False},
    }, 
)
print("Chat response:", chat_response)

[!Note] 若您使用的是阿里云模型 studio 的 API，除了修改 model 外，请使用 "enable_thinking": False，而非 "chat_template_kwargs": {"enable_thinking": False}。

智能体使用方法

Qwen3.5 在工具调用能力方面表现出色。

Qwen-Agent

我们建议使用 Qwen-Agent，以便结合 Qwen3.5 快速构建智能体应用。

要定义可用工具，您可以使用 MCP 配置文件、使用 Qwen-Agent 的集成工具，或自行集成其他工具。

import os
from qwen_agent.agents import Assistant

# Define LLM
# Using Alibaba Cloud Model Studio
llm_cfg = {
    # Use the OpenAI-compatible model service provided by DashScope:
    'model': 'Qwen3.5-35B-A3B',
    'model_type': 'qwenvl_oai',
    'model_server': 'https://dashscope.aliyuncs.com/compatible-mode/v1',
    'api_key': os.getenv('DASHSCOPE_API_KEY'),

    'generate_cfg': {
        'use_raw_api': True,
        # When using Dash Scope OAI API, pass the parameter of whether to enable thinking mode in this way
        'extra_body': {
            'enable_thinking': True
        },
    },
}

# Using OpenAI-compatible API endpoint.
# functionality of the deployment frameworks and let Qwen-Agent automate the related operations.
#
# llm_cfg = {
#     # Use your own model service compatible with OpenAI API by vLLM/SGLang:
#     'model': 'Qwen/Qwen3.5-35B-A3B',
#     'model_type': 'qwenvl_oai',
#     'model_server': 'http://localhost:8000/v1',  # api_base
#     'api_key': 'EMPTY',
#
#     'generate_cfg': {
#         'use_raw_api': True,
#         # When using vLLM/SGLang OAI API, pass the parameter of whether to enable thinking mode in this way
#         'extra_body': {
#             'chat_template_kwargs': {'enable_thinking': True}
#         },
#     },
# }

# Define Tools
tools = [
    {'mcpServers': {  # You can specify the MCP configuration file
            "filesystem": {
                "command": "npx",
                "args": ["-y", "@modelcontextprotocol/server-filesystem", "/Users/xxxx/Desktop"]
            }
        }
    }
]

# Define Agent
bot = Assistant(llm=llm_cfg, function_list=tools)

# Streaming generation
messages = [{'role': 'user', 'content': 'Help me organize my desktop.'}]
for responses in bot.run(messages=messages):
    pass
print(responses)

# Streaming generation
messages = [{'role': 'user', 'content': 'Develop a dog website and save it on the desktop'}]
for responses in bot.run(messages=messages):
    pass
print(responses)

Qwen Code

Qwen Code 是一款开源的终端 AI 代理，专为 Qwen 模型优化。它能帮助你理解大型代码库、自动化繁琐工作，从而更快地交付成果。

更多信息，请参考 Qwen Code。

超长文本处理

Qwen3.5 原生支持最长 262,144 tokens 的上下文长度。 对于总长度（包括输入和输出）超过此限制的长文本任务，我们建议使用 RoPE 缩放技术（如 YaRN）来有效处理长文本。

目前已有多个推理框架支持 YaRN，例如 transformers、vllm、ktransformers 和 sglang。 通常，在支持的框架中启用 YaRN 有两种方法：

• 修改模型配置文件： 在 config.json 文件中，将 text_config 里的 rope_parameters 字段修改为：

  {
      "mrope_interleaved": true,
      "mrope_section": [
          11,
          11,
          10
      ],
      "rope_type": "yarn",
      "rope_theta": 10000000,
      "partial_rotary_factor": 0.25,
      "factor": 4.0,
      "original_max_position_embeddings": 262144,
  }

• 传递命令行参数：

  对于 vllm，可以使用

  VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1010000  

  对于 sglang 和 ktransformers，可以使用

  SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server ... --json-model-override-args '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --context-length 1010000

[!NOTE] 所有主流开源框架均实现了静态 YaRN，这意味着缩放因子不随输入长度变化，可能会影响短文本的性能。 我们建议仅在需要处理长上下文时才修改 rope_parameters 配置。 同时，建议根据需要调整 factor。例如，如果你的应用场景中典型的上下文长度为 524,288 tokens，将 factor 设置为 2.0 会更合适。

最佳实践

为实现最佳性能，我们建议采用以下设置：

1. 采样参数：

   • 建议根据模式和任务类型使用以下采样参数组合：
     • 通用任务思考模式：
       temperature=1.0，top_p=0.95，top_k=20，min_p=0.0，presence_penalty=1.5，repetition_penalty=1.0
     • 精准编码任务思考模式（如Web开发）：
       temperature=0.6，top_p=0.95，top_k=20，min_p=0.0，presence_penalty=0.0，repetition_penalty=1.0
     • 通用任务指令（非思考）模式：
       temperature=0.7，top_p=0.8，top_k=20，min_p=0.0，presence_penalty=1.5，repetition_penalty=1.0
     • 推理任务指令（非思考）模式：
       temperature=1.0，top_p=1.0，top_k=40，min_p=0.0，presence_penalty=2.0，repetition_penalty=1.0
   • 在支持的框架中，可将presence_penalty参数调整为0到2之间的值，以减少无意义的重复。但较高的参数值偶尔可能导致语言混用，并略微降低模型性能。

2. 充足的输出长度：对于大多数查询，建议使用32,768 tokens的输出长度。在数学和编程竞赛等高度复杂问题的基准测试中，建议将最大输出长度设置为81,920 tokens。这能为模型提供足够的空间来生成详细且全面的响应，从而提升整体性能。

3. 标准化输出格式：在进行基准测试时，建议通过提示词标准化模型输出。

   • 数学问题：在提示词中加入“请逐步推理，并将最终答案放在\boxed{}内。”
   • 选择题：在提示词中添加以下JSON结构以规范回答：“请在answer字段中仅用选项字母展示您的选择，例如："answer": "C"。”

4. 历史记录中不含思考内容：在多轮对话中，历史模型输出应仅包含最终输出部分，无需包含思考内容。Jinja2提供的聊天模板已实现此功能。但对于未直接使用Jinja2聊天模板的框架，需由开发者确保遵循此最佳实践。

5. 长视频理解：为优化纯文本和图像的推理效率，发布的video_preprocessor_config.json中size参数采用保守配置。建议将视频预处理配置文件中的longest_edge参数设置为469,762,048（对应224k视频tokens），以支持小时级视频的更高帧率采样，从而获得更优性能。例如：

   {"longest_edge": 469762048, "shortest_edge": 4096}

   或者，通过引擎启动参数覆盖默认值。实现细节请参考：vLLM / SGLang。

引用

如果您觉得我们的工作对您有所帮助，欢迎引用我们的成果。

@misc{qwen3.5,
    title  = {{Qwen3.5}: Towards Native Multimodal Agents},
    author = {{Qwen Team}},
    month  = {February},
    year   = {2026},
    url    = {https://qwen.ai/blog?id=qwen3.5}
}