
更多AI前沿科技资讯,请关注我们:
【closerAI ComfyUI】惊艳!一图LORA的技术实现,让你轻松实现风格迁移,学放硬盘空间!建议收藏学习哟!
大家好,我是Jimmy。这期我们主要讨论如何使用stable diffusion comfyUI 制作一图lora风格转绘工作流。就是使用一张图作为参考,实现风格转绘。
其实在SD1.5时代,Ipadater的出现就是解决了这个问题。因为我们需要LORA来引导生图,不同风格下载不同LORA模型,这对于有限的硬盘空间来讲,这不是长久之计。ipadater的出现就是解决了这个问题。使用一张图就能实现风格迁移。
但到了flux时代,ipadater flux虽然也有,但在效率上和效果上都让人又爱又恨。所以,在flux tool出来之后,redux 和depth flux有一定程度上能使实现风格的迁移,是一个类似ipadater的存在。
同时,最近各大开源AI绘画平台,有收费的趋势,LORA加密和付费下载,甚至工作流也出现加密节点,当然这些存在是合理的,所以我们也提供了一种一图LORA的技术实现。不需要下载LORA也能搞。
所以,本期,我们搭建了一个基于flux生态的风格参考生图工作流,为大家提供一些思路参考。
以下是我们closerAI 一图lora风格转绘工作流全貌:

工作流思路:基于flux模型,利用redux的高级控制再加上深度图控制,实现风格迁移。同时利用flux对于提示词的理解能力,通过提示词+redux控制生图内容。从而实现一张图作参考的控制生图,从而实现去lora化。
主要模型:提示词反推+自动提示词组合、flux文生图、风格参考、深度图控制、换脸、teacache+增加细节
使用方法:前提要下载好flux生态相关的模型哦,拖入我们工作流,下载安装好缺失节点和模型。我们closerAI会员自行在模型库中下载好。
加载两张图,一张是图生图用的,一张是风格参考图。然后直接执行队列即可。参考风格强度自己根据情况调整。默认中等强度。
我加载的参考风格图如下:

生成结果:



用以下图作为风格参考 :

得出以下结果:



以上是风格参考强度在中等时,我们往上增加权重看看:
同样使用以下图作为参考 :






以上深度控制权重都是1,如果要弱化,自行调整数值即可。
以下调整深度控制的LORA重为0.8,再生一次看看效果:

效果如下:


弱化深度后,能将参考图的元素和风格更好地迁移过来。
最后:
未来国内各大AI绘画社区平台的LORA要收费,工作流会加密,相信这是趋势了。在这样的环境下,仅为大家提供一种思路。
基于FLUX的,控制人物不变的风格迁移,以前也介绍过一个方法,大家也可以再学习下,两种方法都无须下载LORA的:
【closerAI ComfyUI】flux人像摄影风格迁移的最优解?这个效果应该暂时无敌了吧?效果不好你打我!
以上是closerAI团队制作的stable diffusion comfyUI closerAI开发的closerAI 一图lora风格转绘工作流介绍,大家可以根据工作流思路进行尝试搭建。
当然,也可以在我们closerAI会员站上获取对应的工作流。
主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
评论(0)