添加图片注释,不超过 140 字(可选)

更多AI前沿科技资讯,请关注我们:closerai.douyoubuy.cn aigc.douyoubuy.cn

【closerAI ComfyUI】AI虚拟换装又加强!阿里ACE+flux三重控制实现更精细化的换装效果!目前控制力最强组合!必须学习起来!

大家好,我是Jimmy。关于flux的三重控制原理,我们之前也分多期介绍过,

【closerAI ComfyUI】很强!flux生态下的三重控制能力实现万物一致性生图,这个思路很屌很强很实用,建议收藏学习

【closerAI ComfyUI】物体迁移术,flux三重控制万物一致性生图,赋能AI摄影电商摄影、模特换装、产品展示实用性强

之前文章中我也有提及到三重控制的思路,之前也提及到有第四重控制,就是IC-lora.这次阿里团队在此基础上又做了一个加强,推出ACE plus,其实就是IC-lora的加强版。

首先,我们先介绍下ACE plus

ACE plus介绍

官方地址:https://github.com/ali-vilab/ACE_plus/tree/main

ACE+基于教学的图像创建和编辑通过上下文感知内容填充,包括ACE++肖像、ACE++物体、ACE++本地编辑,效果就是能保持人物、物体一致性生成。具体如下:

  1. ACE++肖像:肖像一致性生成,以保持肖像的一致性。
  2. ACE++物体:主题驱动的图像生成任务,保持特定主题在不同场景中的一致性。
  3. ACE++本地编辑:在保持编辑区域原有结构信息的前提下,重绘图像的蒙版区域。

它是基于flux fill模型的,分别提供肖像、物体、本地编辑三个lora。使用方法就是下载这三个Lora,在工作流中根据场景把它们对应lora加入工作流生图。

模型下载及放置

大家在官方仓库下找到HF的下载地址。closerAI会员可直接在我们模型库中找到ACE_plus文件夹下载。并放置在comfyUI/models\loras\ACE_plus

添加图片注释,不超过 140 字(可选)

这期我们主要介绍物体这个LORA的使用,加入到我们closerAI万物迁移之AI换装工作流中,形成加强版的换装工作流。

closerAI 四重控制万物迁移一致性生图工作流(换装)

添加图片注释,不超过 140 字(可选)

在这里还是要再迭代更新下我们closerAI flux四重控制工作流的思路

基于flux模型的四重控制物体一致性生图的原理:

第一重,利用flux redux模型原生的高强度微调图片能力。因为之前我们测试过官方出的redux风格模型,发现它对于参考图的参考非常强,如果不加高级redux控制强度,基本就是微调图像达到图片修复、图片微调、图片优化的功能。所以,正是利用它的强参考性来实现第一重的控制。

第二重,利用flux fill出色的局部重绘能力。fill的能力,我们之前也介绍了,它是黑森林官方出的重绘模型,对于flux模型是非常友好地,同时有很好的提示词理解甚至有推理的能力。所以,我们基本不用写提示词,它就能很好地完美高效地补全画面。这里,我们就是利用它理解的能力实现第二重的控制。

第三重就是同一画面生成多张图片能使物体保持一致性的思路。它其实就是flux模型对于自然语言提示词的理解能力。只要在同一时间同一张画面中生成的物体,它是具有高度相似性的。

第四重是ACE+ lora的加持。它的能力就是控制物体的一致性。

综合以上的四方式的控制,集于一身。我们closerAI搭建出closerAI flux四重控制万物一致性生图工作流。

操作之前有介绍过了,现在有了ACE+,我们说下更新的部分:

添加图片注释,不超过 140 字(可选)

在工作流中的Lora节点,选择ACE++subject 的lora。强度为1。同时在提示词这样描述:模特穿上左边的衣服

添加图片注释,不超过 140 字(可选)
添加图片注释,不超过 140 字(可选)

引导步数,30~50.

以下是工作流跑图效果:

我们先加载一张服装图,一张模特图。

添加图片注释,不超过 140 字(可选)

如下:要将左边衣服穿在右边模特身上。

添加图片注释,不超过 140 字(可选)

然后因为是自动蒙版,我们还要精细化地手动涂抹下边缘。如下图示:

添加图片注释,不超过 140 字(可选)

然后再执行工作流,效果如下:

左边是服装,中间是模特,右边是效果

添加图片注释,不超过 140 字(可选)

穿衣效果:

添加图片注释,不超过 140 字(可选)

单张换装后效果:

添加图片注释,不超过 140 字(可选)

工作流中还加入了之前我们介绍的放大节点:PMRF和invSR放大。可根据情况放大至2K~4K。以下是放大效果:

添加图片注释,不超过 140 字(可选)

今天先介绍ACE+在AI换装上的工作流的使用,它就是通过lora多了一重控制,让衣服的细节保持高度相似。

以上是阿里团队ACE_PLUS的介绍、安装和使用方法,以及我们closerAI团队制作的stable diffusion comfyUI closerAI 四重控制万物迁移一致性生图工作流(换装)介绍,大家可以根据工作流思路进行尝试搭建。

当然,也可以在我们closerAI会员站上获取对应的工作流。(戳下“阅读原文”)

更多AI前沿科技资讯,请关注我们:

添加图片注释,不超过 140 字(可选)
隐藏内容
本内容需权限查看
  • 普通用户: 99.9金币
  • VIP会员: 免费
  • 永久会员: 免费

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。