更多AI前沿科技资讯,请关注我们:
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
【closerAI ComfyUI】突破!LTX2.3视频生成模型的人物一致性解决方案,一致性大幅度提升,一个LORA带来的质的变化!

大家好,我是Jimmy。
还是关于LTX2.3视频生成的内容。这期分享很炸裂。先看下方社区大佬跑的案例:
如视频所示的效果。具体是什么效果相信大家也看出来。
用这个方法除了以上效果还能提高人物一致性。在工作流中加载同一个人的图片进行参考生成。
以下是具体的实现方案。
这个工作流方案的主要核心是一个LTX2.3 的LORA。
项目地址:https://huggingface.co/Alissonerdx/BFS-Best-Face-Swap-Video

正如它仓库所说:该LORA模型是一款专为数字身份研究、专业视觉特效工作流程和电影原型设计而设计的技术工具。
原理讲讲:
我们以前介绍过IC-Lora,即In-Context LoRA,
IC-LoRA(In-Context LoRA) 是 LTX-2(Lightricks 官方的 19B 视频扩散模型)独有的进阶技术,专门用来做视频到视频的结构化控制(video-to-video conditioning)。
核心思路:
- 把参考信号(reference image/video)直接嵌入到输入视频的每一帧里,作为“上下文”(in-context)。
- 模型通过这些嵌入的视觉线索(而不是只靠文本 prompt),精准控制输出视频的空间结构、动作、身份。
- 训练时用特殊 conditioning injection + 高噪声 timestep 分布,让模型“优先学习参考信号”而不是原视频内容。
通过“把参考图塞进视频每一帧上下文”的方式,实现目前最稳定的视频一致性增强。
使用方法
一、下载这个LORA模型:

如上面截图所示,下载后放置comfyUI/models/lora中。
工作流方案,这个大佬也提供了一个示例工作流,它的示例是基于蒸馏版本的LTX2.3的FP8模型搭建。本地设备在16G以上可以直接使用这一套。
二、配套插件:
工作流中需要结合作者开发的一个节点:https://github.com/alisson-anjos/ComfyUI-BFSNodes
直接下载解压放置comfyUI/custom_nodes下
三、工作流:
示例工作流我就不展开讲,我修改下形成GGUF 8G稳定运行的版本。这样更低配置的显存也能运行。
先看我跑的效果。
左边是参考图,右边是视频

原视频:
通过LORA加持后的效果如下:
closerAI Ltx2.3人物一致性LORA视频生成工作流

这时在我们介绍GGUF的方案工作流时的基础上作的视频到视频的修改:
【closerAI ComfyUI】“开源天花板”LTX2.3重磅发布:音视频同步、原生 4K!全网最全的comfyUI GGUF低显存方案! 8G 显存也能飞!
具体修改是下面版块,其它不变:

加载参考图,目标视频,通过设置最长边尺寸进行缩放,然后将视频每一帧与参考图进行处理,得到左右联结的图:

IC-lora就会在此进行作用。
模型加载如下图示,使用Q4_K_M版本,接入LORA模型,这里注意LORA强度要超过1,我试过如果是1的话,效果不明显,1~2之间的值大家可尝试下。

本地像我8G显存,跑1280*720尺寸5秒,用时如下,大家作参考吧。当然,将尺寸缩小至480p会更快。

效果很赞:
小结:
这个LORA很强,本地运行可玩性很强,能做出你想要的效果(懂的都懂哦)我就不强调了。技术很强,但建议大家合理合规地学习。
以上视频案例如有侵权请联系删除,仅供学习使用。
本地算力不够怎么办?
如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn

LTX2.3图生视频应用体验地址:
https://www.runninghub.cn/ai-detail/2029776111051214850
注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151
通过这个链接第一次注册送1000点,每日登录送100点
最后几句:
如果对你有帮助,请一键三连支持下我,感谢
以上是closerAI团队制作的stable diffusion comfyUI closerAI Ltx2.3人物一致性LORA视频生成工作流的介绍,当然,也可以在我们closerAI会员站上获取(查看原文)。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:JimmyMo
更多AI前沿科技资讯,请关注我们:
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

评论(0)