
更多AI前沿科技资讯,请关注我们:
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】开源AI视频要起飞!万相生态控制LORA加持下,让wan2.1可玩性更高!下一个导演就是你!
大家好,我是Jimmy。这几天开源AI视频wan2.1迎来生态利器,万相控制LoRA发布,深度控制LORA和tile LORA 。让wan2.1生态越来越完善。
Wan2.1-control-loras
下面是Wan2.1-control-loras官方地址:
https://hggingface.co/spacepxl/Wan2.1-control-loras/tree/main/1.3b
下面是镜像地址:
https://hf-mirror.com/spacepxl/Wan2.1-control-loras/tree/main/1.3b
直接下载后放置comfyUI/models/loras/中

它的文件夹里也有工作流,但如果直接运行它上面的工作流,大概率是得不到很好的结果的。我们对工作流进行优化修改。
我们修改后的工作流如下:

主要修改思路:因为它的控制中使用的是文生视频,所以,提示词很重要,大概率如果提示词写得简单,它深度控制出来的结果不好。所以我们加入反推的节点,用视频的一张截图,进行反推,得出提示词。同时,加入sageattention和teacache进行加速,接入depth lora,在采样过程中分步采样。让生成结果更为稳定。
主要反推节点如下:

我们跑下工作流:
加载一个视频,并截图一张,反推提示词:

一位留着长长的红棕色头发的女士,穿着白色无袖上衣,头发呈现出宽松的波浪样式。
背景模糊,将注意力集中在她的脸部和上半身。
灯光柔和而漫射,突出了她的皮肤和头发的纹理和质地。图像的整体情绪温暖而诱人
经过depth预处理:

这是接入反推提示词执行的结果:左边是原视频,右边是深度控制重绘后的视频。
我们也可以加载其它形象或风格的图反推生成,例如,我们加载一张这样的图:

反推出提示词进行执行,反推结果如下:
日落时分,一位身穿未来风格盔甲西装的女士站在沙漠中, 手持高科技武器,头发在风中流淌,脸上闪烁着夕阳的温暖光芒, 背景中则是周围的沙丘和遥远的山脉。
再次执行工作流进行视频重绘,得出如下结果:

末日机甲风,效果太棒了。
结论:
围绕目前最强的开源视频生成模型通义万相wan2.1的生态越来越成熟了,从上周的特效LORA,到这周的控制LORA,让视频生成越发可控,能玩出很多可能性。控制LORA只是控制生成的开始,相信在不久的几个月内,还会有更多惊喜!让AI电影、AI短剧爆发起来吧!只要你有想法,就能将内容呈现!
以上是closerAI团队制作的stable diffusion comfyUI closerAI开发的closerAI 万相controlnet depth 工作流介绍,大家可以根据工作流思路进行尝试搭建。
当然,也可以在我们closerAI会员站上获取对应的工作流(查看原文)。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:JimmyMo
更多AI前沿科技资讯,请关注我们:
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网
评论(0)