HuggingFace镜像/krea2-identity-edit
模型介绍
文件和版本
分析

Krea 2 Identity Edit

☕ 通过 Ko-fi 支持 — 所有打赏将直接用于未来版本的 GPU 计算。

🧰 训练代码已公开: krea2edit-trainer — 用于训练这些 LoRA 的 ai-toolkit 扩展,与节点进行了几何匹配,并标注了消费级 GPU 的显存需求。

v1.2(推荐版本):krea2_identity_edit_v1_2.safetensors — 针对重新构图的人物,面部相似度更高,且在各项技能上均具有更高的保真度,这得益于 1024 高分辨率处理(v1.1 版本无此功能)。新增功能:角色参考表的使用与创建、头部/面部/眼睛/人物替换、外绘、内绘以及虚拟试穿。配合 v1.2 节点,还新增了FIT 参考几何功能 — 自动处理源图像与输出图像的宽高比不匹配问题,告别拉伸或模糊的结果 — 以及**ref_boost 保真度调节旋钮**(控制编辑对参考图像的保留程度;约 4 是强相似度的起点)。需要 v1.2 节点。

头部/面部/眼睛/人物替换功能基于 stablellama 的 MIT 许可数据集 change_eye_face_head_person 进行训练 — 感谢该数据集的公开。

低显存变体: ..._v1_2_r128.safetensors(0.91GB)和 ..._v1_2_r64.safetensors(0.46GB)— 通过 SVD 对 v1.2 进行秩约简(保留了 >99% 的权重能量),质量几乎相同。

旧版本仍可获取:..._v1_1.safetensors(及其 _r128/_r64 变体)和原始的 ..._v1.safetensors。

针对 Krea 2 的基于指令、保留身份的图像编辑(12.9B 单流 MMDiT)。向其提供图像和自然语言指令,它会在编辑的同时保留未要求更改的部分 — 包括人物。

Krea 2 Raw 的非官方社区微调版本。非官方 Krea 产品;不隶属于 Krea.ai, Inc.,也未经其认可。

需要 ComfyUI-Krea2Edit 节点包 — 该 LoRA 采用双重条件训练(上下文内 VAE 令牌 + 基于图像的 Qwen3-VL 编码),这是标准节点所不具备的。节点包中附带两个现成的工作流。

功能介绍

  • 人像重现场景并保留相似度:“生成这个人在夜市的照片”——相同的面容、相同的服装,甚至包括每一颗痣和印记,完全根据新场景重新打光。还支持新的拍摄角度和姿势。
  • 局部编辑:重新着色、添加/移除/替换物体、更改属性和服装,同时几乎像素级地保留画面其余部分。
  • 参考替换:“把这个女人替换成一只大 orangutan”——“替换”动词经过训练,局部性得以保持。
  • 全图风格重塑:全局风格调整,同时保留原始构图。
  • 双输入编辑:场景和人物作为单独的参考——“生成这个男人站在拖拉机旁的照片”。输入顺序至关重要且固定:场景始终是图像 1(source_latent/image),人物始终是图像 2(source_latent_b/image_b)。 交换它们会导致结果质量急剧下降(这与训练布局一致)。
  • 与您的 LoRA 兼容:角色/身体/风格 LoRA 可以叠加并引导先验——这是封闭编辑器在结构上无法提供的功能。

推荐设置

任务类型模型步数CFG
大多数编辑(添加、重新着色、风格重塑、重现场景)Turbo8–121.0
移除 / 大量删除Raw203.0
  • ref_boost(v1.2 节点)是保真度调节旋钮——约为 4 时可提供强烈的面部/身体相似度(示例工作流默认设为 4);大于 10 开始破坏移除效果;小于 1 则更偏向创意自由。
  • 宽高比:使用 v1.2 节点的 fit 几何模式(默认)时,源图像和输出图像宽高比不匹配的问题会自动处理。在 v1/v1.1 权重或 crop (legacy) 模式下,请匹配源图像的宽高比——否则保留效果会下降。
  • 生成图像分辨率≤2MP(高于此分辨率可能出现源图像信息泄露/重复)。对于 v1.1 的双人编辑,建议分辨率约为 1–1.5MP——更高分辨率下两个人像可能会融合;建议先生成较低分辨率图像,然后再进行放大。
  • 步数也是一个微调旋钮:较少的步数(8步)更有利于保持构图,较多的步数(12步)更有利于面部细节;约 10 步是一个不错的平衡。
  • grounding_px 是一个实际的调节旋钮。较低的值 = 更强的编辑遵循度和更统一的场景变化;较高的值 = 更强的身份/相似度保留。v1.1 的训练范围是 384–768(默认 768);1024 通常也能很好地工作。如果出现重复/分裂的构图(“双重图像”),请降低 grounding_px——远高于训练范围是最常见的原因。(v1 的训练范围是 512–1536。)
  • 当 CFG > 1 时,也对负面提示进行接地(空提示词 + 相同图像)。
  • LoRA 强度设为 1.0。

已知限制(坦诚说明)

  • 相似度忠于纹理,比例偏向保守。痣、皮肤特征、头发和光影效果的适配非常出色;但具有强烈辨识度的面部几何结构(如独特的鼻子、眼距、脸型长度)会趋向于典型比例。那些身份特征主要体现在纹理和结构上的人物,迁移效果最佳;而由几何结构定义的面孔,看起来更像是“近亲”。
  • 双人输入能保持服装 distinct,但面部特征会相互趋近。目前可行的解决方法:链式单参考插入(先放置人物 A,然后进行第二次编辑,从人物 B 的参考图中添加人物 B)。
  • 移除功能有效,但尚不稳定——务必使用 Raw/CFG 3 方案;有时不会直接删除,而是需要重新生成。
  • 服装替换效果不稳定——改变人物穿着有时能顺利生效,有时则无法应用;可重新生成或换种描述方式。
  • 局部编辑并非总能做到完全局部——添加/移除/替换操作有时可能会改变画面的其他部分,或整体色调(在 v1.1 版本中已显著改进)。如果需要确保原始内容的保留,请与源图进行对比并重新生成。
  • 高度特殊的视觉内容(夸张的发型、极端的体型)可能会偏向基础模型的默认设定——叠加一个主题 LoRA 可以解决此问题。

许可协议

LoRA 权重是 Krea 2 的衍生模型,并根据 Krea 2 社区许可协议 进行分发(另见 NOTICE 文件)。用户需注意的关键点:在许可协议规定的收入阈值内允许商业使用(第 2.3 节,目前为年收入 <100 万美元——若超过此金额,请联系 Krea 以获取企业许可);部署时必须实施合理的内容审核(第 4.2 节);在要求的情况下,需履行 AI 披露义务(第 4.3 节)。本仓库按照第 3 节的规定对 Krea 模型进行了修改;本仓库不代表 Krea 的官方立场。

由自筹资金的爱好者发布的研究/作品集。

展示案例

以下所有参考人物均为 AI 生成——无真实人物肖像。提示词已嵌入每张图片中。

v1.1

Two references, one scene — the v1.1 flagship v1 vs v1.1 — same scene, same references

Scene + person insert — scene must be image 1 v1 vs v1.1 — instruction adherence and likeness Outfit replacement — v1.1 executes compound garment instructions Object removal — v1.1 removes and resolves the pose; v1 ignores the instruction Object replacement — v1.1 replaces in place; v1 adds instead grounding_px sweep — high values can duplicate the subject; lower to fix Recolor — chained edit of a previous output, everything else preserved Restoration — near out-of-distribution: a single restoration sample exists in the training data

v1 图库

Two-reference composition Outfit swap + scene + weather Person re-staging with relight New camera angle Replace with preservation Full-image restyle Object addition


支持

这是一个个人爱好项目,背后没有公司或资金支持,无论如何它都将保持免费和开放。如果它对您有用,并且您希望为未来版本的 GPU 计算贡献一份力量,这里有一个小额捐赠链接:ko-fi.com/conradlocke。完全自愿。使用模型、分享结果以及报告问题已经对项目有很大帮助。感谢您的支持。


贡献者与致谢

这是一个个人项目,但在社区的帮助下变得更好。感谢以下人员:

  • stablellama — 提供了 MIT 许可的头部/面部/眼睛/人物交换数据集,这是 v1.2 版本中相关功能的基础。
  • CeciliaXCIX — 在讨论区提供了不知疲倦的高质量社区支持。
  • akashzeno — 节点工程:诊断 ComfyUI 兼容性问题并贡献了回归测试。
  • SubtleShader — 测试训练代码并提供消费级 GPU 使用反馈。
  • Mark (sogni.ai) — 提供支持、捐赠 GPU 资金并帮助宣传。

想要提供帮助吗?欢迎贡献训练数据和节点/代码方面的工作,详情请查看讨论区。


范围与负责任使用

Krea 2 Identity Edit 是一个身份保留型角色重定位模型,仅基于 SFW 数据训练。它未针对任何 NSFW 概念进行训练,并且我没有计划在当前或未来版本中添加或支持 NSFW 数据。

我不认可也不支持使用此模型生成未经同意的、有害的或涉及真实人物的性图像,包括深度伪造内容。请负责任地使用本模型,并尊重您所描绘的任何人的同意权和肖像权。