
更多AI前沿科技资讯,请关注我们:closerai.douyoubuy.cn aigc.douyoubuy.cn
【closerAI ComfyUI】AI虚拟换装又加强!阿里ACE+flux三重控制实现更精细化的换装效果!目前控制力最强组合!必须学习起来!
大家好,我是Jimmy。关于flux的三重控制原理,我们之前也分多期介绍过,
【closerAI ComfyUI】很强!flux生态下的三重控制能力实现万物一致性生图,这个思路很屌很强很实用,建议收藏学习
【closerAI ComfyUI】物体迁移术,flux三重控制万物一致性生图,赋能AI摄影电商摄影、模特换装、产品展示实用性强
之前文章中我也有提及到三重控制的思路,之前也提及到有第四重控制,就是IC-lora.这次阿里团队在此基础上又做了一个加强,推出ACE plus,其实就是IC-lora的加强版。
首先,我们先介绍下ACE plus
ACE plus介绍
官方地址:https://github.com/ali-vilab/ACE_plus/tree/main
ACE+基于教学的图像创建和编辑通过上下文感知内容填充,包括ACE++肖像、ACE++物体、ACE++本地编辑,效果就是能保持人物、物体一致性生成。具体如下:
- ACE++肖像:肖像一致性生成,以保持肖像的一致性。
- ACE++物体:主题驱动的图像生成任务,保持特定主题在不同场景中的一致性。
- ACE++本地编辑:在保持编辑区域原有结构信息的前提下,重绘图像的蒙版区域。
它是基于flux fill模型的,分别提供肖像、物体、本地编辑三个lora。使用方法就是下载这三个Lora,在工作流中根据场景把它们对应lora加入工作流生图。
模型下载及放置
大家在官方仓库下找到HF的下载地址。closerAI会员可直接在我们模型库中找到ACE_plus文件夹下载。并放置在comfyUI/models\loras\ACE_plus

这期我们主要介绍物体这个LORA的使用,加入到我们closerAI万物迁移之AI换装工作流中,形成加强版的换装工作流。
closerAI 四重控制万物迁移一致性生图工作流(换装)

在这里还是要再迭代更新下我们closerAI flux四重控制工作流的思路:
基于flux模型的四重控制物体一致性生图的原理:
第一重,利用flux redux模型原生的高强度微调图片能力。因为之前我们测试过官方出的redux风格模型,发现它对于参考图的参考非常强,如果不加高级redux控制强度,基本就是微调图像达到图片修复、图片微调、图片优化的功能。所以,正是利用它的强参考性来实现第一重的控制。
第二重,利用flux fill出色的局部重绘能力。fill的能力,我们之前也介绍了,它是黑森林官方出的重绘模型,对于flux模型是非常友好地,同时有很好的提示词理解甚至有推理的能力。所以,我们基本不用写提示词,它就能很好地完美高效地补全画面。这里,我们就是利用它理解的能力实现第二重的控制。
第三重就是同一画面生成多张图片能使物体保持一致性的思路。它其实就是flux模型对于自然语言提示词的理解能力。只要在同一时间同一张画面中生成的物体,它是具有高度相似性的。
第四重是ACE+ lora的加持。它的能力就是控制物体的一致性。
综合以上的四方式的控制,集于一身。我们closerAI搭建出closerAI flux四重控制万物一致性生图工作流。
操作之前有介绍过了,现在有了ACE+,我们说下更新的部分:

在工作流中的Lora节点,选择ACE++subject 的lora。强度为1。同时在提示词这样描述:模特穿上左边的衣服


引导步数,30~50.
以下是工作流跑图效果:
我们先加载一张服装图,一张模特图。

如下:要将左边衣服穿在右边模特身上。

然后因为是自动蒙版,我们还要精细化地手动涂抹下边缘。如下图示:

然后再执行工作流,效果如下:
左边是服装,中间是模特,右边是效果

穿衣效果:

单张换装后效果:

工作流中还加入了之前我们介绍的放大节点:PMRF和invSR放大。可根据情况放大至2K~4K。以下是放大效果:

今天先介绍ACE+在AI换装上的工作流的使用,它就是通过lora多了一重控制,让衣服的细节保持高度相似。
以上是阿里团队ACE_PLUS的介绍、安装和使用方法,以及我们closerAI团队制作的stable diffusion comfyUI closerAI 四重控制万物迁移一致性生图工作流(换装)介绍,大家可以根据工作流思路进行尝试搭建。
当然,也可以在我们closerAI会员站上获取对应的工作流。(戳下“阅读原文”)
更多AI前沿科技资讯,请关注我们:

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
评论(0)