更多AI前沿科技资讯，请关注我们：closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】阿里团队ACE plus再次赋能flux生态，万物一致性增强！换装、换脸、物体迁移等通通拿下
大家好，我是Jimmy。上一期内容我们已经讲过ACE++在AI虚拟换装上的增强的工作流，在我们原来三重控制的基础上，加入ACE++ lora，让服装迁移还原度再次提升一个档次。但阿里团队推出的ACE++ lora,应用不仅仅是AI虚拟换装上。这期我们再重点讲讲它的能力。
阿里ACE plus介绍
官方地址：https://github.com/ali-vilab/ACE_plus/tree/main
ACE++基于教学的图像创建和编辑通过上下文感知内容填充，包括ACE++肖像、ACE++物体、ACE++本地编辑，效果就是能保持人物、物体一致性生成。具体如下：
ACE++肖像：肖像一致性生成，以保持肖像的一致性。
ACE++物体：主题驱动的图像生成任务，保持特定主题在不同场景中的一致性。
ACE++编辑：在保持编辑区域原有结构信息的前提下，重绘图像的蒙版区域。
它是基于flux fill模型的，分别提供肖像、物体、本地编辑三个lora。使用方法就是下载这三个Lora，在工作流中根据场景把它们对应lora加入工作流生图。
模型下载及放置
大家在官方仓库下找到HF的下载地址。closerAI会员可直接在我们模型库中找到ACE_plus文件夹下载。并放置在comfyUI/models\loras\ACE_plus
我们可以看到，三个LORA分别对应它的三种能力。
closerAI ACE++ lora使用方法及工作流
我们分别搭建三种lora的使用工作流
1、ACE++ Portrait Lora的使用工作流
底模用flux的fill模型。这里我用了GGUF量化模型。然后LoRA使用ACE++Portrait。由于它训练时使用到的数据是1024*1024尺寸的，这里我们需要对加载的图片进行脸部位置识别然后进行裁剪。同时外扩1024，在右侧形成一个区域让它进行生图。生图后进行裁剪得出最后图片。
下图是加载的参考人像图：
提示词我们这样写：
保持人物面部特征，
这里记得要写“保持人物面部特征”，然后接着写画面生成的内容。
下图是生成的结果：左边是人物肖像，右边是通过提示词描述生成的。
2、ACE++ Subject Lora的使用工作流
这里选择ACE++subject 的LoRA。同样工作流中对加载的图像进行尺寸裁剪。然后外扩1024
提示词简单作引导：
这个LOGO标志被印到中国美女的T裇上
加载这张LOGO
得到以下结果：
我们可以看到它的中文迁移也非常棒。
这个LOGO标志被印在一个可爱的环保袋上
3、ACE++LocalEditing Lora的使用工作流
同样的工作流使用fill,lora选择ACE++local
我们加载以下图像
并右键在遮罩编辑器中打开，涂抹修改的区域，如下图示：
提示词这样写：在{iamge}的遮罩范围中增加一盆红色玫瑰花
然后执行，得出以下结果：
真是太棒了是不是？
ACE++ lora结论
ACE++ lora其实是之前IC-lora的加强版，这次更新，不用像之前那样针对不同场景选用不同lora和调整尺寸，这次直接选好lora就行。同时可跟我们自己的工作流直接组合使用即可。像我们上期介绍的AI虚拟换装：
【closerAI ComfyUI】AI虚拟换装又加强！阿里ACE+flux三重控制实现更精细化的换装效果！目前控制力最强组合!
后面会抽空更新几期关于在其它应用场景的工作流。它这次的优化，基本是flux控制万物迁移保持一致性不可缺失的一环。建议大家学会它的用法。
以上是阿里团队ACE_PLUS的介绍、安装和使用方法，以及closerAI团队制作的stable diffusion comfyUI closerAI开发的closerAI ACE++ lora使用方法及工作流介绍，大家可以根据工作流思路进行尝试搭建。
当然，也可以在我们closerAI会员站上获取对应的工作流（戳阅读原文）
更多AI前沿科技资讯，请关注我们：closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网
评论(0)