Qwen3.8-27B-Uncensored-FP8

Qwen Qwen3.8-27B 的 abliterated（移除拒绝）离线 Block-FP8 构建版本

一个网关，覆盖所有模型。 — 路由更智能 · 交付更安全 · 成本更低。

官网 · 模型目录 · 模型 API · GitHub · Discord · X

对 Qwen/Qwen3.8-27B 进行的 abliterated（移除拒绝）与 离线 Block-FP8 量化构建版本 —— 一款 27B 参数的稠密、混合注意力（Gated DeltaNet 线性 + 全注意力）原生视觉语言模型，具备灵活的思考控制、工具调用以及 MTP 投机解码头。该版本移除安全拒绝方向，随后重新量化为与官方 Qwen/Qwen3.8-27B-FP8 完全一致的 FP8 方案，从而通过完全相同的 vLLM 内核路径提供服务 —— 262K 上下文，工具、推理与 MTP 均保留。可在 OrcaRouter 模型目录 中浏览所有模型。该模型已以 API 形式部署于此处。

⚠️ 免责声明 — 使用前请阅读

该模型的安全对齐已大幅移除，方法是通过 abliteration （将残差流中的拒绝方向正交化剔除）。直接后果如下：

• 它会服从有害、不道德、冒犯性或非法的请求，而这些请求原本会被 Qwen3.8-27B 拒绝。它没有实质性的内置护栏。
• 它仅面向合法研究目的发布——可解释性研究、AI 安全与拒绝机制研究、红队测试、鲁棒性评估以及受控实验。
• 你需对如何使用它以及它生成的所有内容承担完全责任与法律责任。在未自行添加安全、审核和滥用防护层之前，请勿将其部署给最终用户或投入生产环境。
• 使用必须遵守从基础模型继承的 Apache 2.0 License，以及适用于你的所有法律法规。
• 作者和上传者不对因该模型造成的任何误用或伤害承担责任。其输出不代表上传者或 Qwen / Alibaba 的观点。

下载或使用该模型即表示你确认并接受以上内容。

模型详情

Abliteration

拒答方向移除遵循 Arditi et al. (2024)，Refusal in Language Models Is Mediated by a Single Direction。单个拒答方向 r（k = 1）通过在 第 38 层（round(0.6 × 64)）上，对有害 − 无害的最后一 token 残差进行大规模激活掩码均值差估计得到，数据分别来自 AdvBench（有害）与 Alpaca（无害）。随后将 r 从所有 残差写入 矩阵中正交剔除——W' = W − r(rᵀW)——并以 float32 计算：

视觉塔保持未修改，且 MTP 头与主模型一致地完成了 Abliteration，因此投机解码仍可正常工作。编辑后的最大残差泄漏：1.8e-2（float32 投影 → bf16 存储误差）。

离线 block-FP8 量化方案

量化在经过 Abliteration 的 BF16 权重上离线完成，并精确复现官方 Qwen/Qwen3.8-27B-FP8 方案：

• 权重： 细粒度 128×128 分块 FP8（E4M3）——每个分块的 weight 为 float8_e4m3fn，并附带 weight_scale_inv（BF16）。
• 激活： 按 token 动态 FP8——运行时计算，无需校准集。
• 保留为 BF16（不量化）： 视觉塔、所有 norm、mlp.gate / shared_expert_gate、linear_attn 卷积/门控（A_log、conv1d、dt_bias、in_proj_a/b/ba、norm）、lm_head、embed_tokens——与官方 FP8 完全相同的 882 项 modules_to_not_convert。
• 407 个权重完成量化 / 792 个权重直接复制 → 共 1606 个张量，与官方 FP8 checkpoint 完全一致。已与其进行校验：分块布局与缩放系数能够复现官方权重，且 99.9% 的 FP8 编码完全相同。

因此，vLLM 使用与官方 checkpoint 相同的 FlashInfer / DeepGEMM 分块缩放 FP8 kernel 来服务该构建版本，并采用相同的 MTP 投机解码。

预期用途

• 用于研究拒绝机制、对齐与可解释性。
• 用于受控环境中的红队测试以及安全 / 鲁棒性评估。
• 用于经授权且合法的研究场景中的无审查生成。

不在范围内

• 任何违反基础模型 Apache 2.0 许可证或适用法律的用途。
• 在未附加额外安全与内容审核层的情况下，向公众或最终用户部署。
• 生成旨在伤害、骚扰、欺诈或危害他人的内容。

评测

该结果基于完全相同的 FP8 构建版本，使用 vLLM 提供服务（block-FP8 + FP8 KV cache + MTP），并与同样方式提供官方 Qwen/Qwen3.8-27B-FP8 的结果进行对比，采用相同的脚本和设置。 拒绝行为由基于规则的开头短语分类器判定（caveat = 已作答，但附带免责声明 / 警告）——仅供参考，并非 LLM 评审 / 可发表级别数值。除非另有说明，思考均处于关闭状态；两种模式下均报告拒绝率，因为 Qwen 的思考模式会改变数值。

安全性 — 有害提示下的拒绝率，思考关闭（越低 = 越无审查）

有害提示下的拒绝率从基座 FP8 的 64–99% 骤降至 0–6%。约 30–50% 的 caveat 比例表示模型 仍会作答，但常常在开头附上一段简短的安全免责声明——它是在响应请求，而非拒绝。

安全性 — 有害提示下的拒绝率，思考开启（enable_thinking=true，max_tokens 2048）

在思考模式下，abliterated 模型几乎从不拒绝（≤ 1.7%）。

过度拒答——对良性提示的错误拒绝（越低越好）

Abliteration 降低了良性提示上的连带过度拒答（5.6% → 0.4%）。

能力保持——相对官方 Base FP8（相同脚本、相同设置）

能力几乎完全保留——每个 Benchmark 与基础模型之间的差距均在 ±1.3 个百分点以内，且 MMLU 保持不变。由于 FP8 方案与官方 checkpoint 逐字节一致，该差异仅反映 Abliteration 编辑，而这几乎不涉及通用能力。

流畅度（困惑度）： 该构建在 WikiText-2-raw 上的困惑度为 6.96（296,907 个 tokens，BF16 KV；logprobs 正常，最小 −26.9 / 均值 −1.94），表明 Abliteration + block-FP8 并未降低语言建模能力。

已在该 FP8 构建上验证： vLLM 启动（block-FP8 + FP8-KV + MTP）、推理（enable_thinking → reasoning 字段已填充）、多轮工具调用（qwen3_coder parser）以及视觉（图像 + OCR）均可正常工作。

多模态（视觉）

视觉塔逐字节保留——全部 333 个 visual.* 张量均原样复制并保留为 BF16，merger / 图像 + 视频预处理器配置完整无损，因此它仍然是完整的视觉语言模型（Qwen3_5ForConditionalGeneration），可直接替换基础模型。Abliteration 只编辑 语言模型 残差写入器，因此图像理解在架构上不受影响（基于图像的拒答也会随文本拒答一同减少）。上述 Benchmark 表格均为纯文本（使用 --language-model-only 提供服务）；若要使用视觉，请在提供服务时不要使用该标志。

已在该 FP8 构建上验证可用（以完整 VL 模式提供服务）：给定一张测试图像，模型能正确说出形状和颜色，并读取图中文字（OCR）——例如，它会描述*“一个带黑色轮廓的鲜红色圆形”和“一个蓝色正方形”，并读出说明文字“PURPLE 7”*。基于图像的提示均得到正常回答，没有拒答，与文本结果一致。

用法

使用 vLLM 自托管（兼容 OpenAI）

docker run -d --name qwen38-uncensored --gpus all --ipc=host --shm-size=8g \
  -v /path/to/Qwen3.8-27B-Uncensored-FP8:/model:ro \
  -p 8000:8000 vllm/vllm-openai:v0.24.0 \
  --model /model --served-model-name Qwen3.8-27B-Uncensored \
  --language-model-only \
  --speculative-config '{"method":"mtp","num_speculative_tokens":3}' \
  --kv-cache-dtype fp8 \
  --gpu-memory-utilization 0.9 \
  --max-model-len 262144 --max-num-seqs 96 \
  --trust-remote-code \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder

FP8 quantization_config 会从 config.json 中读取 — 请勿传入 --quantization fp8。 --speculative-config mtp 会启用保留的 MTP 草稿头。如果希望使用 BF16 KV 精度， 请去掉 --kv-cache-dtype fp8。

推理（思考）切换

思考默认开启（Qwen3.8）。可通过 chat_template_kwargs 按请求切换； 推理轨迹会返回在 reasoning 字段中（--reasoning-parser qwen3）。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

resp = client.chat.completions.create(
    model="Qwen3.8-27B-Uncensored",
    messages=[{"role": "user", "content": "Prove that sqrt(2) is irrational."}],
    extra_body={"chat_template_kwargs": {"enable_thinking": True}},
)
print(resp.choices[0].message.reasoning)  # thinking trace
print(resp.choices[0].message.content)    # final answer

工具调用

支持标准 OpenAI tools + assistant tool_calls + role: tool 结果消息， 包括多轮调用（将工具结果回传以生成后续回答）。由 --tool-call-parser qwen3_coder 解析。

通过 OrcaRouter（托管 API — 无需配置）

通过 OpenAI 兼容网关在 OrcaRouter 上提供服务 （262K 上下文、工具调用 + 推理）。可在 orcarouter.ai 获取 API 密钥（sk-orca-...）。

from openai import OpenAI

client = OpenAI(base_url="https://api.orcarouter.ai/v1", api_key="sk-orca-...")
resp = client.chat.completions.create(
    model="qwen/qwen3.8-27b",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(resp.choices[0].message.content)

硬件要求与性能

软件

• 需要 vLLM 搭配 transformers ≥ 5.12（支持 Qwen3.5/3.8）——例如 vllm/vllm-openai:v0.24.0。

内存

• 权重：block-FP8 格式约 ~31 GB（约为 ~56 GB BF16 检查点的一半）。
• 仅容纳权重加少量 KV cache 至少需要 ~40 GB VRAM；完整 262K 上下文还需要 可观的额外 KV cache——可使用 --kv-cache-dtype fp8 将其减半。
• 推荐：单卡 H100 80 GB 或 H200 143 GB。

吞吐量 / 并发

• 支持 Continuous batching；并发能力受 --max-num-seqs 以及权重加载后可容纳的 KV cache 限制。已在单张 H200 上验证，可平滑服务 32 个并发 eval 请求 （--max-num-seqs 96，FP8 KV cache，MTP）。MTP draft head 可在 真实工作负载中带来显著的解码加速。

偏见、风险与限制

• 安全护栏已移除——按请求，模型可能生成有害、有偏见或冒犯性内容。 请参见上文免责声明。
• 它会继承基础模型 Qwen3.8-27B 的任何偏见和局限。
• 相比 BF16，Block-FP8 并非无损；可能出现轻微生成伪影（能力 影响测量值 ≤ 1.3 分）。
• 所报告的拒绝率指标是一种基于规则的启发式方法；请结合自身使用场景严格评估。

许可证

Apache 2.0，继承自基础模型 Qwen/Qwen3.8-27B。Abliteration 和量化不会 改变底层许可证义务。