
更多AI前沿科技资讯,请关注我们:closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】阿里团队ACE plus再次赋能flux生态,万物一致性增强!换装、换脸、物体迁移等通通拿下
大家好,我是Jimmy。上一期内容我们已经讲过ACE++在AI虚拟换装上的增强的工作流,在我们原来三重控制的基础上,加入ACE++ lora,让服装迁移还原度再次提升一个档次。但阿里团队推出的ACE++ lora,应用不仅仅是AI虚拟换装上。这期我们再重点讲讲它的能力。
阿里ACE plus介绍
官方地址:https://github.com/ali-vilab/ACE_plus/tree/main
ACE++基于教学的图像创建和编辑通过上下文感知内容填充,包括ACE++肖像、ACE++物体、ACE++本地编辑,效果就是能保持人物、物体一致性生成。具体如下:
ACE++肖像:肖像一致性生成,以保持肖像的一致性。
ACE++物体:主题驱动的图像生成任务,保持特定主题在不同场景中的一致性。
ACE++编辑:在保持编辑区域原有结构信息的前提下,重绘图像的蒙版区域。
它是基于flux fill模型的,分别提供肖像、物体、本地编辑三个lora。使用方法就是下载这三个Lora,在工作流中根据场景把它们对应lora加入工作流生图。
模型下载及放置
大家在官方仓库下找到HF的下载地址。closerAI会员可直接在我们模型库中找到ACE_plus文件夹下载。并放置在comfyUI/models\loras\ACE_plus

我们可以看到,三个LORA分别对应它的三种能力。
closerAI ACE++ lora使用方法及工作流
我们分别搭建三种lora的使用工作流
1、ACE++ Portrait Lora的使用工作流


底模用flux的fill模型。这里我用了GGUF量化模型。然后LoRA使用ACE++Portrait。由于它训练时使用到的数据是1024*1024尺寸的,这里我们需要对加载的图片进行脸部位置识别然后进行裁剪。同时外扩1024,在右侧形成一个区域让它进行生图。生图后进行裁剪得出最后图片。
下图是加载的参考人像图:

提示词我们这样写:

保持人物面部特征,
这里记得要写“保持人物面部特征”,然后接着写画面生成的内容。
下图是生成的结果:左边是人物肖像,右边是通过提示词描述生成的。


2、ACE++ Subject Lora的使用工作流


这里选择ACE++subject 的LoRA。同样工作流中对加载的图像进行尺寸裁剪。然后外扩1024
提示词简单作引导:

这个LOGO标志被印到中国美女的T裇上
加载这张LOGO

得到以下结果:


我们可以看到它的中文迁移也非常棒。
这个LOGO标志被印在一个可爱的环保袋上



3、ACE++LocalEditing Lora的使用工作流


同样的工作流使用fill,lora选择ACE++local
我们加载以下图像

并右键在遮罩编辑器中打开,涂抹修改的区域,如下图示:


提示词这样写:在{iamge}的遮罩范围中增加一盆红色玫瑰花
然后执行,得出以下结果:

真是太棒了是不是?
ACE++ lora结论
ACE++ lora其实是之前IC-lora的加强版,这次更新,不用像之前那样针对不同场景选用不同lora和调整尺寸,这次直接选好lora就行。同时可跟我们自己的工作流直接组合使用即可。像我们上期介绍的AI虚拟换装:
【closerAI ComfyUI】AI虚拟换装又加强!阿里ACE+flux三重控制实现更精细化的换装效果!目前控制力最强组合!
后面会抽空更新几期关于在其它应用场景的工作流。它这次的优化,基本是flux控制万物迁移保持一致性不可缺失的一环。建议大家学会它的用法。
以上是阿里团队ACE_PLUS的介绍、安装和使用方法,以及closerAI团队制作的stable diffusion comfyUI closerAI开发的closerAI ACE++ lora使用方法及工作流介绍,大家可以根据工作流思路进行尝试搭建。
当然,也可以在我们closerAI会员站上获取对应的工作流(戳阅读原文)
更多AI前沿科技资讯,请关注我们:closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
评论(0)