SenseNova-U1.5-8B-MoT

English | 简体中文

SenseNova-U1.5 原生统一多模态架构

概述

SenseNova-U1.5-8B-MoT 是我们最新的原生统一多模态权重，面向更准确、更一致、更可靠且更具审美表现力的视觉创作。基于 NEO-unify，我们进一步强化了 patchify 层、数据质量与分布、任务定义、Prompt 增强和后训练流程。

正式版重点提升了六项用户可感知的能力：

更高质量的图像生成： 提升构图、色彩和谐度、材质渲染、光照、真实感与细粒度细节。
更好的文字渲染与信息图生成： 提升中英文文字可读性，并在海报、信息图、品牌素材及其他文字密集设计中呈现更清晰的信息层级。
更高效的原生 4K 生成： 提升全局结构连贯性、高分辨率输出稳定性与生成效率。
更可靠的原生图像编辑： 在局部编辑、文字编辑、多参考图编辑、插入与替换等任务中，更好地保持主体身份与非编辑内容。
更强的复杂指令遵循： 更稳定地执行对象数量、空间关系、版式、风格及单个请求中的多项约束。
更精确的视觉控制： 通过边界框、视觉标记以及单图或多图参考，实现更准确的区域级与对象级控制。

效果展示

SenseNova-U1.5 文生图与图像编辑效果

核心评测

SenseNova-U1.5 基准评测概览

查看详细评测结果

SenseNova-U1.5 详细基准评测结果

快速开始

参考推理代码位于 SenseNova-U1 GitHub 仓库。

安装

git clone https://github.com/OpenSenseNova/SenseNova-U1.git
cd SenseNova-U1
uv sync
source .venv/bin/activate

上游环境使用 Python 3.11、PyTorch 2.8 和 CUDA 12.8。其他 CUDA 版本及可选的 FlashAttention 配置请参阅安装指南。

文生图

python examples/t2i/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT \
  --prompt "A cinematic mountain lake at sunrise, realistic photography." \
  --width 2048 --height 2048 \
  --device_map auto \
  --output output.png

图像编辑

python examples/editing/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT \
  --image input.png \
  --prompt "Change the jacket to cobalt blue. Preserve the face, pose, background, lighting, and framing." \
  --output edited.png

更多推理选项、支持的分辨率及批量处理方法请参阅推理示例。

最佳实践

对于主体明确、约束较少的任务，直接使用自然语言 Prompt 通常即可。复杂生成或编辑任务可在需要额外规划时使用 Prompt 增强，并明确写出必须保持不变的内容。

安装说明以及可选的 Image PE、Caption-to-Prompt 和 Editing PE Recipe 请参阅 SenseNova-U1.5 Cookbook。

进行中的改进

正式版在预览版基础上有所改进，但以下方面仍存在挑战：

细节或色彩过强： 部分 Prompt 可能产生过多高频细节或过饱和色彩，通常可通过降低 cfg_scale 缓解。
密集文字错误： 密集、较长、小字号或中英文混排文字仍可能出现错误。
高约束版式偏差： 高约束版式中的精确计数、对齐或层级可能不完全准确。
细粒度细节不稳定： 小尺寸人脸、手部、肢体与细粒度物体结构仍可能不稳定。
复杂编辑偏移： 大范围、多轮或多参考图编辑仍可能发生偏移，尤其是同时需要保留多个区域时。

模型

模型	阶段	HF 权重
SenseNova-U1.5-8B-MoT	最终模型	🤗 模型
SenseNova-U1.5-8B-MoT-SFT	监督微调	🤗 模型

引用

如果这个项目对您的研究有帮助，请考虑为仓库点 Star 并引用：

@misc{sensenova2026neounify,
  title        = {NEO-unify: Building Native Multimodal Unified Models End to End},
  author       = {SenseNova},
  journal      = {Hugging Face blog},
  url          = {https://huggingface.co/blog/sensenova/neo-unify},
  year         = {2026}
}

@article{sensenova2026sensenovau1,
  title        = {SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture},
  author       = {Diao, Haiwen and Wu, Penghao and Deng, Hanming and Wang, Jiahao and Bai, Shihao and Wu, Silei and Fan, Weichen and Ye, Wenjie and Tong, Wenwen and Fan, Xiangyu and others},
  journal      = {arXiv preprint arXiv:2605.12500},
  year         = {2026}
}

许可证

本模型基于 Apache 2.0 License 开源发布。