SenseNova/SenseNova-U1.5-8B-MoT-Preview
模型介绍
文件和版本
Pull Requests
讨论
分析

SenseNova-U1.5-8B-MoT(预览版)

English | 简体中文

arXiv GitHub Hugging Face 模型集合 NEO-unify SenseNova Studio

注意: SenseNova-U1.5(预览版)提前展示了我们在图像生成与编辑方面的最新进展。功能更强大、体验更完善的正式版本也将在不久后正式发布。

🌟 概述

SenseNova-U1.5(预览版)技术进展概览

SenseNova-U1.5(预览版) 是基于 NEO-unify 构建的原生统一多模态模型,并引入了全新的 patch 编码层和解码层。我们进一步扩充并优化了文生图训练语料,同时面向单图参考与多图参考场景,对编辑数据进行了大规模筛选与合成。因此,模型在原生图像生成和编辑方面实现了显著跃升:

  • 高效的原生 4K 生成,在高分辨率下兼顾全局一致性与细粒度细节。
  • 纹理、材质、光照和真实感显著提升,生成的图像更加丰富、更具视觉说服力。
  • 中英文文字渲染能力大幅增强,对密集复杂版式的组织也更加可靠。
  • 图像编辑能力取得重大进展,指令遵循、主体身份保持和结构一致性均有增强。
  • 支持细粒度、区域可控的编辑,可通过蒙版、边界框和视觉标记指定编辑区域。

📣 最新动态

  • [2026.07.31] 发布 SenseNova-U1.5-8B-MoT(预览版),支持原生 4K 生成,具备更精细的纹理、更复杂的版式和更强的编辑能力。我们还开源了预训练启动脚本和配置文件。
点击展开 SenseNova U1 历史更新
  • [2026.07.16] 发布 SenseNova-U1-8B-MoT-Infographic-V3 📊。新版本同时支持信息图生成与编辑。在保留信息图生成能力的基础上,显著提升了局部文字、局部内容、全局风格和全局布局的编辑能力,包括对密集文本的精确文字修正。模型详情与基准测试结果请参阅 ✨ U1 Infographic Model Series。

  • [2026.06.29] 发布 SenseNova-U1-8B-MoT-Infographic-V2 📊。该版本提升了密集小字渲染能力,使字符边缘更加锐利;增强了复杂、高信息密度图形的版式生成能力;提升了整体视觉质量和一致性,并修复了黑色背景问题。模型详情与可视化示例请参阅 ✨ U1 Infographic Model Series。

  • [2026.06.12] 发布 SenseNova-U1-8B-MoT-Infographic-LoRA-8step-V1.0,用于快速生成信息图。请参阅推理示例。

  • [2026.06.11] 发布 SenseNova-U1-8B-MoT-Interleaved 📖,专门针对图文交错生成进行优化。它显著提升了绘本、故事书、幻灯片和图文教程等多页内容的叙事连贯性、角色与风格一致性以及图文对齐能力。

  • [2026.05.21] 发布 SenseNova U1 全参数微调训练代码。

  • [2026.05.15] 发布 SenseNova-U1-8B-MoT-Infographic 📊,提升信息图生成能力。模型详情请参阅 U1 Infographic Model Series;100 个生成示例请参阅 ✨ Infographic Showcases。

  • [2026.05.10] 发布 🔥 SenseNova U1 技术报告 🔥,并开源 SenseNova-U1-A3B-MoT-SFT 和 SenseNova-U1-A3B-MoT 模型权重。

  • [2026.05.08] 新增 GGUF 量化权重支持和分层加载 VRAM 模式,便于在单张低显存 GPU 上进行推理。详情请参阅低显存推理指南。SenseNova-U1-8B-MoT-Merger 的 GGUF 权重可从 🤗 smthem/SenseNova-U1-8B-MoT-Merger-gguf 获取。感谢 @smthem 为社区贡献量化权重。

  • [2026.05.06] 发布 SenseNova-U1-8B-MoT-LoRA-8step-V1.0。请参阅推理示例。

  • [2026.04.30] 发布 8 步推理预览版 SenseNova-U1-8B-MoT-8step-preview。在大多数情况下,其图像生成质量接近基础模型。请参阅对比结果与已知问题。运行时请参考推理脚本,并使用 --cfg_scale 1.0 --num_steps 8。

  • [2026.04.27] 首次发布 SenseNova-U1-8B-MoT-SFT 和 SenseNova-U1-8B-MoT 模型权重。

  • [2026.04.27] 首次发布 SenseNova U1 推理代码。

🔬 U1.5 的改进

从逐 Patch 预测到 Patch 联合重建

SenseNova-U1 原有的 MLP head 会独立重建每个 RGB patch。在高分辨率下,这可能使 token 边界以网格纹理、接缝或纹理断裂的形式显现。SenseNova-U1.5 则通过 ConvDecoder 采用渐进式空间重建:先将视觉 token 重塑为二维特征网格,再经过多级 Pixel Shuffle 进行上采样,并在中间使用 3×3 卷积,让相邻 patch 能够交互并融合为更加连续的图像。

定性结果表明,这一设计在整个预训练过程中显著抑制了网格状伪影;同时也提升了下游适配的鲁棒性,降低了在新领域微调时类似伪影再次出现的可能性。

从指令遵循到视觉保持

SenseNova-U1 主要依赖公开的图像编辑数据集,其中许多数据存在监督噪声、样本质量偏低以及明显的合成或修图伪影。针对 SenseNova-U1.5,我们对编辑语料进行了大规模清洗、筛选与合成,同时改善中英文数据平衡,并扩大对单图参考和多图参考场景的覆盖。

定量结果表明,无编码器的 NEO-unify 架构仅使用一段参考图像 token 序列,就能同时实现出色的指令遵循、主体身份保持和结构保持。这带来了更强的编辑性能与显著更高的推理效率,进一步验证了原生统一多模态建模的有效性。

从有限格式接触到跨任务泛化

用于训练 SenseNova-U1.5 的生成与编辑语料只包含少量简单的 JSON 格式提示词,并不包含长篇、层次化或高度结构化的指令。此外,更复杂的类 JSON 格式仅出现在理解任务训练语料中,其内容、结构和任务目标均有显著差异。

尽管存在这种差异,模型在图像生成和编辑任务中仍能很好地泛化到长篇和结构化指令。这表明,原生统一多模态建模能够在同一个模型中融合从理解与生成任务中学到的能力,使结构化理解和视觉规划能力无需针对固定提示词模板进行专项训练,即可跨任务迁移。

✨ U1.5 的能力表现

🖼️ 文生图

Qwen-Image Bench

模型
质量
美学
对齐度
真实世界保真度
创意生成
综合
EN ↑
ZH ↑
EN ↑
ZH ↑
EN ↑
ZH ↑
EN ↑
ZH ↑
EN ↑
ZH ↑
EN ↑
ZH ↑
GLM Image49.8649.2649.9850.6447.4947.9044.2544.6944.6745.2347.8648.19
Qwen Image48.4548.4451.1852.2550.0450.7243.4543.1645.3747.3048.4849.23
HunyuanImage 3.050.7650.3554.6653.5753.1652.0045.3344.3148.3349.1251.3550.81
Qwen Image 251251.8451.7654.4054.7451.4452.7247.8047.0047.7550.1951.3252.06
GPT Image 152.5052.3455.7755.0955.3556.2848.2548.1457.2955.7854.2454.07
Qwen Image 2*53.6053.0957.5156.3056.4857.4852.1751.7457.4059.0155.6955.63
GPT Image 259.0958.6568.4867.5365.7865.8559.4057.3875.3475.2365.2364.69
U147.3045.7950.3047.0750.5847.7843.1342.5346.1543.8848.2845.99
U1.5-Preview49.1449.1952.0251.8752.4652.6145.2245.1147.2348.8049.9350.25
U1.5-Preview†50.2150.0157.2656.4458.5259.2848.2648.2460.4360.9555.1755.22

注:Qwen Image 2* 表示由我们评测所得的结果;U1.5-Preview† 表示使用Cosmos3一致的提示词增强(PE)后的结果。

✏️ 图像编辑

Model
ImgEdit-Bench
GEdit-Bench
WeEdit
Overall ↑
EN GO ↑
CN GO ↑
IA ↑
TC ↑
BP ↑
Average ↑
Qwen-Image-Edit-25114.517.8777.8193.1803.9304.6303.913
Qwen-Image-24.288.3698.3485.0446.0795.6805.601
FireRed-Image-Edit4.567.9437.8874.1506.3307.1405.873
LongCat-Image-Edit4.457.7487.7313.3905.5906.7105.230
HY-Image-3-Instruct———4.1605.9907.0305.727
Nano-Banana4.297.2917.3993.9207.1407.8006.287
Nano-Banana-Pro4.377.7387.7998.5809.1008.8508.843
GPT-Image-1.5———6.5207.7806.1506.817
U13.907.4707.4205.7296.6047.1576.497
U1.5-Preview4.378.1728.0516.5327.2716.7526.852

🎨 效果展示

🖼️ 文生图效果展示

以下示例涵盖多种类型的文生图任务。点击左栏中的标题可展开完整的原始 Prompt。

提示词SenseNova-U1.5(预览版)
复古汽水广告
生成一张竖版复古可乐商业广告海报,品牌为“RETRO-COLA”,画面比例约为 2:3。整体采用 1960—1970 年代美式汽水广告、复古泳池派对摄影、旧杂志印刷和现代商业时尚广告融合的风格。画面必须真实、热烈、复古、富有生活方式气息,不能呈现为插画、卡通、漫画或明显的三维渲染。
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],

特别强调:
主角只有一双手;右手握瓶,左手搭在冰桶边缘;只露出一个膝盖;另一条腿完全藏在冰桶中;不出现额外手臂、额外手指、重复膝盖、扭曲坐姿或肢体融合。

SenseNova-U1.5(预览版)生成的复古汽水广告
海龟科普信息图
{
"type": "circular life-cycle educational infographic poster",
"theme": "MARINE TURTLES of the MALDIVES - Life Cycle and Threats",
"language": "English",
"priority_emphasis": [
"TOP PRIORITY: all text crisp, correctly spelled, plain letters and numbers only - no strange symbols or garbled characters",
"core structure: a circular five-stage life cycle arranged clockwise around a central dark-teal oval label, with curved arrows connecting the stages",
"style: soft watercolor natural-history illustration inside each stage circle, combined with clean flat icons and elegant serif typography",
"calm coastal palette: soft ocean teals and blues on a very light blue-white background, one warm sand-beige accent band"
],
"canvas": {
"aspect_ratio": "2:3",
"orientation": "vertical poster",
"resolution_hint": "high resolution, refined print-quality detail",
"background": "very light blue-white with a subtle watercolor wash texture"
},
"style": {
"overall": "elegant marine conservation poster - watercolor illustration meets clean infographic design",
"visual_tone": "calm, natural, scientific, gentle",
"art_direction": "each life stage is a circular watercolor vignette with soft edges; around each vignette a pale-teal arc segmented into small flat threat icons; bold curved teal arrows link the stages clockwise; dotted lines connect stages to the center",
"color_palette": [
"deep ocean teal (headings, arrows, icons)",
"soft aqua and powder blue (arcs and fills)",
"muted seafoam green",
"warm sand beige (bottom accent band)",
"very light blue-white background"
],
"saturation": "low to medium, watercolor softness, no bright colors",
"typeface": "classic serif in dark teal - large elegant serif for the title with an italic word, medium serif for stage names and section headers, clean sans-serif regular for body bullets",
"references": ["natural history watercolor plates", "marine conservation posters", "editorial life-cycle diagrams"]
},
"layout": {
"header": {
"title": "MARINE TURTLES of the MALDIVES - large dark-teal serif, the words of the in elegant italic",
"subtitle": "Life Cycle and Threats - medium serif flanked by small decorative dashes"
},
"central_hub": "a solid dark-teal oval in the middle of the cycle with white italic serif text: Life Cycle and Threats",
"life_cycle_ring": {
"arrangement": "five stages arranged clockwise: stage 1 top center, stage 2 right, stage 3 lower right, stage 4 lower left, stage 5 left; bold curved teal arrows between consecutive stages; thin dotted lines from each stage toward the central oval",
"stage_design": "each stage has a numbered dark-teal circle badge on top, a round watercolor illustration, a serif stage name below, and a pale-teal arc of 4-5 small flat threat icons hugging the outer side of the circle (crab, bird, fish, thermometer, net, plastic bottle, no-poaching sign, excavator, boat as appropriate)",
"stages": [
{"number": "1", "name": "Eggs and Nest", "illustration": "watercolor female turtle on warm sand laying a clutch of white eggs among beach grass", "side_text": "left column bullets: Females return to natal Maldivian beaches to nest. Clutch approx 80-120 eggs; incubation approx 45-70 days in the warm sand.", "right_text": "right column bullets: Bycatch in fishing gear and ghost-net entanglement. Plastic ingestion, poaching, coastal development and boat strikes."},
{"number": "2", "name": "Hatchlings", "illustration": "watercolor night beach scene with a tiny hatchling scrambling toward moonlit waves", "side_text": "bullets: Hatchlings emerge at night and scramble to the sea toward the brightest horizon. Survival to adulthood is estimated at only approx 1 in 1,000."},
{"number": "3", "name": "The Lost Years", "illustration": "watercolor juvenile turtle drifting among Sargassum seaweed and small fish in open blue water", "side_text": "bullets: Juveniles drift on open-ocean currents and Sargassum for years. This long pelagic phase is known as the lost years."},
{"number": "4", "name": "Sub-adult on Reefs", "illustration": "watercolor young turtle swimming over coral reef and seagrass", "side_text": "bullets: Young turtles recruit to Maldivian coral reefs and seagrass beds. They feed and grow toward maturity in coastal foraging grounds."},
{"number": "5", "name": "Adult and Migration", "illustration": "watercolor mature turtle swimming through open water with light rays", "side_text": "bullets: Mature adults migrate between foraging and breeding grounds. Sexual maturity is reached late - often 20-30 years."}
]
},
"species_status_row": {
"left": "a watercolor hawksbill turtle illustration beside header Maldivian Species with bullets: Five of the seven sea-turtle species occur in Maldivian waters. Green and Hawksbill turtles are the most commonly seen.",
"right": "a dark-teal shield icon with a white turtle silhouette beside header Conservation Status with bullets: Hawksbill Critically Endangered. Green Endangered (IUCN Red List). A second watercolor green turtle illustration at the far right."
},
"threat_bands": {
"natural": "a full-width pale-teal rounded band titled NATURAL THREATS with four icon-text pairs separated by dotted dividers: crab icon - Predation of eggs and hatchlings by crabs, birds and fish; virus icon - Disease; coral icon - Coral and seagrass loss; storm cloud icon - Storms erode nesting beaches.",
"human": "below it a full-width warm sand-beige rounded band titled HUMAN THREATS with five icon-text pairs: fishing net - Bycatch in fishing gear and ghost-net entanglement; plastic bottles - Plastic ingestion; turtle with hand - Poaching; excavator - Coastal development; boat - Boat strikes."
}
},
"composition_rules": [
"the five-stage ring is the dominant structure, evenly spaced around the central oval",
"watercolor vignettes share a consistent illustration style and scale",
"threat-icon arcs hug each stage circle on its outer side without touching neighboring elements",
"side text columns sit outside the ring, aligned left or right, never overlapping the cycle",
"curved arrows are bold and smooth, clearly showing clockwise flow",
"the two threat bands stretch the full width at the bottom with even icon spacing",
"generous breathing room, nothing touches the poster edges"
],
"quality_tags": [
"watercolor natural-history illustration",
"circular life-cycle diagram",
"marine conservation poster",
"soft coastal palette",
"elegant serif typography",
"clean flat icon system",
"crisp accurate text",
"high detail"
],
"negative_prompt": [
"garbled text",
"misspelled words",
"strange symbols",
"blurry small labels",
"bright neon colors",
"oversaturated palette",
"photorealistic turtles",
"3D render look",
"cartoon childish style",
"cluttered overlapping elements",
"broken cycle arrows",
"wrong number of stages",
"watermark",
"low resolution"
]
}
SenseNova-U1.5(预览版)生成的海龟科普信息图
武康路旅行手账
{
"类型": "小红书手账风水彩 CityWalk 攻略图",
"主题": "武康路 —— 上海最出片的一条马路 CITYWALK 漫游",
"语言": "简体中文(含少量英文点缀)",
"优先强调": [
"【最高优先级】所有中文清晰、正确、无错字,只用普通标点、无奇怪字符;手写体标题要有笔触感但可读",
"核心风格:水彩手绘插画 + 拼贴手账风 —— 做旧牛皮纸底、贴纸、便签、票根、胶带、手写批注、爱心涂鸦,满满小红书种草感",
"画面丰富热闹但不杂乱,暖色调温柔治愈,像一页精心做的旅行手账"
],
"画布": {
"比例": "1:1",
"方向": "方形",
"画质": "高分辨率,水彩质感细腻,拼贴层次丰富",
"背景": "做旧暖米色牛皮纸/手账纸底,带轻微纸纹与做旧痕迹"
},
"风格": {
"整体": "水彩手绘 + 拼贴手账 + 小红书攻略排版",
"视觉基调": "文艺、治愈、温柔、种草、热闹而精致",
"美术方向": "建筑与街景用柔和水彩手绘(淡彩晕染、细线勾勒),元素以贴纸/便签/票根/胶带拼贴叠放;手写批注、虚线路线、爱心与箭头涂鸦点缀;留白处贴纸标签分区",
"色板": ["做旧米黄纸底", "水彩砖红(武康大楼)", "柔和绿(梧桐树)", "暖棕、奶咖", "点缀粉、黄、蓝(贴纸标签)"],
"饱和度": "中低饱和、柔和暖调,水彩通透",
"字体": "主标题大号黑色毛笔手写体(带彩色描边光晕),小标题手写体,说明清晰小字",
"参考": ["小红书旅行手账", "水彩城市插画", "拼贴风攻略图"]
},
"版式": {
"主标题": "武康路 —— 超大黑色毛笔手写体,左上角,带粉黄蓝多色手绘描边光晕,贴纸感",
"副标题": "上海最出片的一条马路 | CITYWALK漫游 —— 手写小字,标题下方",
"主视觉": "画面右侧中部一栋水彩手绘的武康大楼(诺曼底公寓,砖红色船型转角历史建筑),楼前一位戴草帽、穿米色长裙、手拿咖啡、背小包的女生背影正走过斑马线;旁边水彩梧桐树成荫",
"拼贴元素": [
"左上角便签清单:网红面包店 / 转角遇到爱 / 老上海风情(打勾)",
"右上角贴一枚做旧邮票(梧桐叶图案)与胶带",
"左侧一张咖啡票根 CAFE de WUKANG 咖啡时光 COFFEE TICKET,配拉花咖啡水彩小图",
"左中水彩小图:街角咖啡馆(转角遇见浪漫)、老洋房阳台(藏着老上海的故事)",
"右侧标注:武康大楼(诺曼底公寓)上海地标必打卡机位;法国梧桐 夏日浓荫大道 氛围感拉满",
"右侧一块蓝色路牌 武康路 Wukang Rd. 393/381",
"手绘爱心、箭头、相机小图标点缀"
],
"路线地图": "左下角一张水彩手绘 CITYWALK 路线图,标题 武康路CITYWALK路线图;粉色虚线串联编号站点:START 武康大楼(诺曼底公寓) → 2 老洋房群(历史建筑巡礼) → 网红面包店(人气烘焙) → 3 街角咖啡馆(拍照打卡) → 5 复古路牌(打卡留念) → GO! citywalk;沿途水彩小建筑与路树",
"底部标签": "三枚彩色贴纸话题标签:#武康路 #上海citywalk #出片圣地",
"TIPS框": "右下角便签 漫步TiPS:穿着舒适的鞋子 / 带上相机-手机 / 慢下来感受生活(打勾)"
},
"构图规则": [
"武康大楼为右侧视觉主体,女生背影引导视线,路线地图锚定左下",
"各拼贴元素错落叠放、留白呼吸,热闹但不糊成一团",
"手写标题最醒目,各小标签分区清晰",
"水彩暖色调统一,全图像一页完整手账"
],
"质量标签": ["水彩手绘手账风", "拼贴种草攻略", "毛笔手写标题", "路线地图", "暖调治愈", "文字清晰", "小红书风", "高清细节"],
"负向提示": ["乱码汉字", "错字", "奇怪字符", "文字糊成一团", "元素杂乱重叠糊作一团", "浓艳刺眼颜色", "3D渲染感", "照片写实", "冷硬扁平矢量", "空洞留白过多", "水印", "低分辨率"]
}
SenseNova-U1.5(预览版)生成的武康路旅行手账海报
银盐摄影技术图解
{
"类型": "精密线描工程科普信息图",
"主题": "银盐摄影 —— 一束光如何通过化学反应变成一张永久保存的照片",
"语言": "简体中文(含少量英文年份与术语)",
"优先强调": [
"【最高优先级·必须遵守】画面底部及任何位置都绝不出现一排标签/图例胶囊按钮;绝不把风格词、质量词(如 现代工程线描 / 等距爆炸拆解 / 明亮暖米底 / 文字工整 / 高清细节 等)当作内容画进图里。画面只包含标题、时间轴、相机拆解主图与各知识模块正文,此外无任何标签条",
"【最高优先级】所有中文清晰、正确、无错字,只用普通标点、无奇怪字符",
"【配色·低饱和】整体低饱和、克制——暖橙色只作极少量点睛(仅用于那一条入射光线),其余引线、箭头、标注一律用中性的黑/深灰,不要满图橙色;底色是干净的浅米白而非偏黄,整体清爽不暖过头",
"【字重·偏细】文字用中等偏细字重——标题为清爽的中黑体(不要超粗),模块小标题为常规黑体,正文为细黑体/宋体;避免笨重的超粗字堆叠"
],
"画布": {
"比例": "16:9",
"方向": "横版",
"画质": "高分辨率,工程制图级精细度,文字清晰",
"背景": "干净、明亮的浅米白纸底(偏白、不偏黄),轻微纸纹,清爽通透"
},
"风格": {
"整体": "现代工程线描科普图鉴 meets 信息图排版,清爽克制",
"视觉基调": "精密、专业、清爽、明亮、轻盈",
"美术方向": "以细而均匀的黑/深灰钢笔线描为主,线条干净利落;仅一条入射光线用暖橙做点睛,其余全部中性色;剖面分层图、等距爆炸拆解图、细引线标注、编号圆点;模块间以细线或小标题分区",
"色板": ["浅米白底(偏白不偏黄)", "黑/深灰线描(主)", "极少量暖橙(仅入射光线点睛)", "浅灰淡填充"],
"饱和度": "低饱和,中性黑灰为主,暖橙极少量点睛,整体清爽不暖腻",
"字体": "标题中黑体(清爽不超粗),模块小标题常规黑体,正文细黑体/宋体小字",
"参考": ["现代科普线描信息图", "干净轻盈的工程爆炸拆解图", "清爽技术图解"]
},
"版式": {
"主标题": "银盐摄影 —— 大号中黑体(清爽不超粗),左上角;下方小字副标题 一束光如何通过化学反应变成一张永久保存的照片",
"顶部时间轴": "银盐摄影发展历程 —— 横向时间轴六节点,各配线描相机小图:达盖尔银版摄影 1839、卡罗式摄影 1841、胶卷时代 1888、黑白胶片普及、彩色胶片 1935、现代艺术银盐摄影",
"中央主图": "一台胶片相机的等距爆炸拆解线描图(干净细线),部件沿光路展开并编号引线标注:① 相机主体、② 镜头组、③ 快门、④ 胶片仓、⑤ 银盐胶片、⑥ 卷片轴、⑦ 取景器;一条暖橙色光线从镜头射入、标注 光线入射(全图仅此处用橙);下方圆形放大剖面 银盐乳剂层 与 卤化银晶体结构(晶格球棍模型)",
"左侧模块": [
"银盐为什么能记录影像:光子被卤化银晶体吸收使电子跃迁至导带;电子被感光点捕获与银离子结合生成金属银微粒即潜影;约4个以上银原子聚集时晶体才可显影",
"银盐乳剂结构:剖面分层 保护层 / 银盐乳剂层 / 片基",
"为什么底片是反的:受光多的区域变黑;受光少的区域较透明;明暗关系反转;配负片小图",
"银盐摄影流程:横向8步 ① 装入胶卷 → ② 曝光 → ③ 显影 → ④ 定影 → ⑤ 水洗 → ⑥ 干燥 → ⑦ 放大冲印 → ⑧ 获得照片,每步配线描小图标"
],
"右侧模块": [
"显影发生了什么:显影液作用于潜影;晶体被还原为金属银;影像逐渐显现;配三格晶体变化图",
"为什么需要定影:清除未曝光的卤化银;仅保留金属颗粒;使底片不再感光;配三格图",
"为什么胶片会有颗粒感:晶体越大颗粒越粗、越小越细腻;配灰阶颗粒渐变条",
"银盐摄影与数码摄影:化学感光↔电子感光、胶片记录↔CMOS记录、暗房冲洗↔即时成像",
"银盐摄影的魅力:四个圆形线描图标 真实颗粒 / 丰富影调 / 独特色彩 / 不可复制的仪式感"
]
},
"构图规则": [
"中央相机爆炸图为视觉焦点、光路贯穿",
"四周模块沿边缘规整排布、各带小标题与编号圆点",
"引线细而清晰不交叉、编号与文字对应准确",
"线描为主、暖橙仅入射光线点睛;其余中性黑灰",
"留白充足、浅米白底统一、清爽不暖腻",
"文字中等偏细、轻盈不笨重",
"底部及任何位置都不出现多余的标签胶囊条"
],
"质量标签_内部参考不要画进图": ["现代工程线描", "干净细线", "低饱和清爽", "中等偏细字重", "文字工整", "高清细节"],
"负向提示": [
"底部或任何位置的标签胶囊条",
"把风格词质量词画成图标按钮或标签",
"满图橙色",
"过多暖橙点缀",
"高饱和刺眼颜色",
"底色偏黄发暖过头",
"超粗笨重字体",
"粗黑字堆叠",
"做旧发黄发暗",
"厚重铜版雕刻",
"乱码文字",
"错字",
"奇怪字符",
"文字糊成一团",
"引线交叉缠绕",
"3D渲染感",
"照片写实",
"水印",
"低分辨率"
]
}
SenseNova-U1.5(预览版)生成的银盐摄影技术图解
高动态范围单板滑雪摄影
画面是一张方形极限运动摄影,陡峭雪坡从左下斜切到右上,形成强烈的动态构图。一名单板滑雪者位于画面偏左中部,被背后的太阳照成黑色剪影,身后扬起大片明亮粉雪。背景是浓郁深蓝色晴空,雪粒在逆光中像细密星点一样闪烁。右下方出现鲜艳的彩虹折射光带,与冷色雪景形成醒目的色彩对比。整体具有高速、冷冽、自由而震撼的户外运动海报质感。
SenseNova-U1.5(预览版)生成的高动态范围单板滑雪照片

✏️ 图像编辑效果展示

点击 Prompt 可展开全文;点击图片可查看原始分辨率。

提示词输入图像输出图像
参考图风格编辑
Create an infographic titled "The Journey of Postal Mail" using the watercolor illustration style of the reference image. The background should resemble textured paper with soft watercolor clouds, stars, and leafy plants in the corners.
,[object Object],
,[object Object],

Use a dark blue brush-script font for the main title "The Journey of Postal Mail" at the top center. Ensure text boxes have rounded corners, colored borders matching their respective milestone markers, and small icons next to the list items (e.g., a location pin, a clock, a person icon).

邮政邮件旅程信息图输入图像 邮政邮件旅程信息图输出图像
多参考图组合
将图像转换为手绘食谱插画风格,背景为米色网格笔记本纸张,左侧带有黑色螺旋装订线圈。,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
,[object Object],
    
    ,[object Object],
  • 保持图1的温馨手绘色调,线条柔和,色彩丰富。
食谱插画风格参考输入图像 炸鸡成品参考输入图像 韩式双拼炸鸡食谱插画输出图像
参考主体封面生成
Use the provided photo as the main subject reference: keep the young boy’s identity, cheerful smile, short black hair, raised flexing arm pose, and white cotton tank top. Create a Xiaohongshu cover design promoting kids’ cool summer cotton tank tops.


,[object Object],
,[object Object],
,[object Object],

Make the final image look like a polished Xiaohongshu product cover: cute, clean, colorful, eye-catching, and suitable for promoting children’s summer clothing. Preserve the boy’s friendly expression and natural proportions. Avoid changing him into an adult, avoid adding unrelated products, and keep all text clear and correctly spelled.

儿童夏季背心输入图像 儿童夏季背心封面输出图像
局部内容编辑

将左侧蓝色主标题文字替换为“固定式储能用钠离子电池”。保持原海报的复古印刷质感、深蓝色窄体大字风格、粗细比例、字距、行距和左侧纵向排版占位不变,使中文标题在原标题区域内分行排列并保持强烈的竖向视觉节奏。保留除该主标题以外的所有文字、图表、图标、日期、插画、颜色、纹理和布局不变。

钠离子电池海报输入图像 钠离子电池海报输出图像
文字造型编辑

以基础图片进行局部文字造型编辑。仅将画面中央由海浪翻涌轨迹与白色船只共同拼出的巨大中文字符“迎”替换为“命”,目标字符必须清晰可识别为“命”。保持原图俯拍海面视角、青绿色海水、白色浪花、船只航行、飞鸟、顶部手写英文文字、底部白色中文文字、整体构图和画面比例不变。新的“命”字仍需由自然翻涌的白色海浪、泡沫水纹和船只航行轨迹组成,浪花边缘与原图质感一致,具有真实海面流动感,不要做成平面字体或贴图效果。将“命”字的最后一竖设计为原有白色船只的纵向航行形态,船只位置、透视、大小和光影尽量沿用原图,只调整周围浪花与水纹,使其自然成为“命”字结构的一部分。除“迎”改为“命”这一目标区域外,其他所有文字、海面纹理、飞鸟数量与位置、船只主体质感、色彩、光照、留白和整体旅行海报风格均保持不变。避免生成乱码、额外文字、错误汉字、重复船只、变形船体、突兀浪花、风格不一致或大范围重绘背景。

海浪汉字局部编辑输入图像 海浪汉字局部编辑输出图像
区域标注编辑

将红框内的文本“05月06日 10:00-17:00”替换为“06月18日 09:00-18:00”。保持原有的绿色字体、粗体样式和两行排版(第一行为日期,第二行为时间),并移除红框。

活动日期和时间替换输入图像 活动日期和时间替换输出图像

⚠️ 已知限制

为帮助用户对 SenseNova-U1.5(预览版)建立明确预期,其当前限制包括:

  • 面对简短或描述不充分的 Prompt 时,可能会生成非预期文字。
  • 密集或较长的文字中可能出现错误,尤其是小字号文字和中英文混排内容。
  • 对复杂版式的遵循仍不完整,包括精确数量、对齐关系和层级结构。
  • 小尺寸人脸、手部、肢体以及细粒度物体细节仍不稳定。
  • 复杂编辑可能发生漂移,尤其是范围较广、多轮或多参考图指令。

为了帮助用户更充分地发挥模型当前的能力上限,我们提供以下两种可选的开源实践。

🧰 最佳实践 [强烈推荐]

对于主体明确、约束较少的任务,直接使用自然语言 Prompt 即可。以下两条路径主要适用于设计信息不完整,或用户希望依据参考图复现成熟视觉方案的任务。它们是模型之外的可选工作流,不应与模型本身的原始能力混为一谈。

路径 A:SenseNova Image PE Skill

当输入仅为简短的创意需求时,可采用此路径。该 Skill 会将需求转换为紧凑的 Render JSON Prompt,同时保留必要的主体、可见文案、数量、版式约束和排除项。

安装

在仓库根目录下,将该 Skill 复制到 Agent 的 skills 目录:

SKILL_DIR="$HOME/.agents/skills/sensenova-u1-5-prompt-enhancement"
mkdir -p "$SKILL_DIR"
cp src/sensenova_u1.5/prompt-enhancement-skill/SKILL.md "$SKILL_DIR/"
cp -R src/sensenova_u1.5/prompt-enhancement-skill/agents \
  src/sensenova_u1.5/prompt-enhancement-skill/references \
  "$SKILL_DIR/"

使用示例

Skill 是面向 Agent 的一组任务指令和参考资料,并非独立程序。安装完成后,通过所用 Agent 的 Skill 机制调用 sensenova-u1-5-prompt-enhancement,并提交下方请求。Agent 会遵循 SKILL.md 及 references/ 中的资料,将需求转换为 Render JSON。具体调用语法因 Agent 而异。$SKILL_DIR 仅是安装命令中用于表示目标目录的 shell 变量。

Convert the brief below into one compact Render JSON object. Save only the JSON
object, without Markdown fences, to enhanced_prompt.json.

Brief:
Design a 3:4 portrait autumn lakeside wedding invitation with embossed paper
and delicate botanical linework. Use only this copy: "OUR DAY / AUTUMN WEDDING
/ 10.18 / LAKESIDE GARDEN".

使用仓库中已提交的 Render JSON,通过 SenseNova-U1.5 生成图像:

MODEL_PATH="sensenova/SenseNova-U1.5-8B-MoT-Preview"

python examples/t2i/inference.py \
  --model_path "$MODEL_PATH" \
  --prompt "$(cat src/sensenova_u1_5/prompt-enhancement-skill/examples/u1_5_pe_skill_wedding_prompt.json)" \
  --width 1760 \
  --height 2368 \
  --cfg_scale 4.0 \
  --cfg_norm global \
  --timestep_shift 3.0 \
  --num_steps 50 \
  --seed 1730675618 \
  --device_map auto \
  --output output.png

路径 B:参考图检索 + Caption-to-Prompt

当抽象风格术语不足以准确描述设计目标时,一种更直接的方法是先检索一张设计完成度较高的参考图,再使用我们的 Caption 脚本,将参考图中的视觉决策转换为可编辑的 Prompt:

创意目标
  └─► 检索并选择参考图
      └─► SenseNova Caption 脚本
          └─► 构图 / 层级 / 配色 / 字体 / 材质 / 光照 / 约束
              └─► 替换主题、内容、文案、主体或局部结构
                  └─► 使用 SenseNova-U1.5 复现或重新诠释

这条路径的关键并非简单复制参考图,而是将该设计为何有效拆解为模型可以执行的描述。Caption 脚本会尝试提取版式网格、视觉焦点、文字层级、配色、材质、相机、光照和负向约束。用户随后可以在保留设计语言的同时,替换主题、文案、主体或局部结构。使用外部参考图时,请确保其来源、授权和使用方式符合适用的许可协议。

Caption 脚本:src/sensenova_u1_5/caption/caption.py

pip install openai pillow
export OPENAI_API_KEY="your-api-key"

# 输出结构化 JSON Prompt 和自然语言 Prompt
python src/sensenova_u1_5/caption/caption.py path/to/reference.jpg

# 保存结果,便于后续修改主题、文案、主体或局部结构
python src/sensenova_u1_5/caption/caption.py path/to/reference.jpg > result.json

以下示例使用 Caption 脚本从原始参考图生成结构化描述 result.json,再使用该描述进行图像重建,以及文字和物体的局部编辑。

原图反推重建V0V1
Caption-to-Prompt 原始参考图 Caption-to-Prompt 重建图像 Caption-to-Prompt 红色调编辑图像 Caption-to-Prompt 北京场景编辑结果

如何选择

场景推荐方式
主体明确、约束较少直接使用自然语言 Prompt
只有简短的创意需求,但希望自动补全完整设计方案SenseNova Image PE Skill
已找到理想的构图或视觉语言,希望复现、改换主题或进行修改参考图检索 + Caption-to-Prompt

Editing PE

Editing PE 是面向图像编辑和参考图引导生成的 Prompt 预处理步骤。它会将按顺序排列的输入图像与原始指令一并发送给多模态 Prompt 重写器;重写器会保留用户使用的语言和核心意图,同时让图像模型更明确地理解请求。根据任务需要,它可以明确编辑目标与位置、为多张参考图分配角色、提取参考图的视觉语言、指定精确文字和版式,以及说明哪些主体或区域必须保持不变。重写后的 Prompt 随后会传给 SenseNova-U1.5 生成图像;Editing PE 本身不会修改像素。

独立实现位于 src/sensenova_u1_5/edit/edit_pe.py。如需在不启动图像生成的情况下查看重写后的 Prompt:

export OPENAI_API_KEY="your-api-key"
# 可选:
# export OPENAI_MODEL="gpt-5.5"
# export OPENAI_BASE_URL="https://your-openai-compatible-endpoint/v1"

python src/sensenova_u1_5/edit/edit_pe.py \
  path/to/input.png \
  "把天空改成晚霞"

该命令会将重写后的 Prompt 输出到标准输出。多张输入图像可按顺序列在原始 Prompt 之前。

在 examples/editing/inference.py 中,Editing PE 默认关闭。需要时可通过 --use-edit-pe 启用,并设置 OPENAI_API_KEY。使用 --print-edit-pe 可查看原始 Prompt 和重写后的 Prompt,使用 --edit-pe-model 可选择重写模型。对于多图任务,请按预期顺序提供图像,并在原始指令中说明每张图像的角色。

以下示例展示了如何将简短的风格参考请求扩展为面向模型的详细指令,并对比增强前后的输出结果。

输入图像原始 Prompt原始 Prompt 输出PE 增强 PromptPE 增强 Prompt 输出
展示中国古建筑屋顶图鉴视觉语言的参考信息图

参考这张图的青花水墨视觉语言,生成一张中国古建筑屋顶形制图鉴。

未使用 PE、根据原始 Prompt 生成的中国古建筑屋顶信息图
查看完整的 PE 增强 Prompt

参考输入图的青花瓷与水墨视觉语言,生成一张竖版《中国古建筑屋顶形制图鉴》信息海报。整体使用白色宣纸背景、淡灰水墨山水远景、青花蓝单色主调、细腻瓷纹边框、传统卷草纹与云纹装饰,版式层级、圆形插图框、编号徽章、虚线分隔和说明卡片风格与参考图一致,但内容改为中国古建筑屋顶形制。

左侧设置大号竖排书法标题文字“屋顶形制”,使用深青蓝粗笔触。标题旁加入竖排副标题“飞檐斗拱之间,承载千年营造智慧”。左下角绘制一座青花瓷质感的古建筑屋脊与飞檐局部,带有花纹装饰和水墨阴影,替代参考图中的茶碗。背景保留淡雅山水、竹叶、云纹和留白感。

右侧从上到下排列 6 个屋顶形制条目,每个条目包含一个圆形青花瓷边框插图,里面用蓝灰线描绘对应屋顶轮廓;右侧连接一张青花边框信息卡。每张卡片包含编号、屋顶名称、简短特征和代表建筑,文字清晰可读,全部使用深青蓝色。

6 个条目的文字内容如下:

  1. “庑殿顶”
    “等级:最高”
    “特征:四坡五脊,庄重宏阔”
    “代表:太和殿”
  2. “歇山顶”
    “等级:高”
    “特征:九脊结合,山花分明”
    “代表:故宫保和殿”
  3. “悬山顶”
    “等级:中”
    “特征:两坡出山墙,屋檩外挑”
    “代表:民居祠堂”
  4. “硬山顶”
    “等级:常见”
    “特征:两坡封山墙,朴素稳重”
    “代表:北方民居”
  5. “攒尖顶”
    “等级:亭阁常用”
    “特征:多坡汇于一点,形制挺拔”
    “代表:天坛祈年殿”
  6. “卷棚顶”
    “等级:园林常用”
    “特征:无正脊,曲线柔和”
    “代表:园林廊亭”

保持整张海报为精致青花水墨插画风,避免现代图标和鲜艳颜色。构图清爽、对齐整齐、装饰细节丰富但不影响文字阅读。

根据 PE 增强 Prompt 生成的中国古建筑屋顶信息图

🚀 快速开始

参考推理实现位于 SenseNova-U1 GitHub 仓库。

安装

git clone https://github.com/OpenSenseNova/SenseNova-U1.git
cd SenseNova-U1
uv sync
source .venv/bin/activate

上游环境当前使用 Python 3.11、PyTorch 2.8 和 CUDA 12.8。其他 CUDA 版本及可选的 FlashAttention 配置请参阅安装指南。

🖼️ 文生图

python examples/t2i/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT-Preview \
  --prompt "A cinematic mountain lake at sunrise, realistic photography." \
  --width 2048 --height 2048 \
  --device_map auto \
  --output output.png

✏️ 图像编辑

python examples/editing/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT-Preview \
  --image input.png \
  --prompt "Change the jacket to cobalt blue. Preserve the face, pose, background, lighting, and framing." \
  --output edited.png

如需使用 Image PE 生成更详细、面向模型的编辑 Prompt:

python examples/editing/inference.py \
  --model_path sensenova/SenseNova-U1.5-8B-MoT-Preview \
  --prompt "参考这张图的青花水墨视觉语言,生成一张中国古建筑屋顶形制图鉴。" \
  --image docs/assets/showcases/editing_gallery/case1_ancient_roof_infographic.webp \
  --output edited_with_pe.png \
  --use-edit-pe

SenseNova-U1.5 的参考配置为 cfg_scale=4.0、timestep_shift=3.0 和 num_steps=50。

训练

SenseNova-U1.5 的生成预训练代码位于 training 目录。配置好模型、tokenizer 和数据路径后,使用以下命令启动所提供的 pixel-head PT 配方:

cd training
bash shell/train_u1/U1.5_8B.sh

环境变量驱动的 PT 配置文件为 sensenovau1_5_8b_mot_pt.py。

🌐 加入我们的社区!

Join our growing community to share feedback, get support, and stay updated on the latest SenseNova-U1 developments — we'd love to hear from you!

DiscordFeishu Group

引用

如果本项目对您的研究有所帮助,欢迎 Star ⭐ 并引用 📝:

@article{sensenova2026sensenovau1,
  title   = {SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture},
  author  = {Diao, Haiwen and Wu, Penghao and Deng, Hanming and Wang, Jiahao and Bai, Shihao and Wu, Silei and Fan, Weichen and Ye, Wenjie and Tong, Wenwen and Fan, Xiangyu and others},
  journal = {arXiv preprint arXiv:2605.12500},
  year    = {2026}
}