更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

【closerAI ComfyUI】突破!LTX2.3视频生成模型的人物一致性解决方案,一致性大幅度提升,一个LORA带来的质的变化!

大家好,我是Jimmy。

还是关于LTX2.3视频生成的内容。这期分享很炸裂。先看下方社区大佬跑的案例:

如视频所示的效果。具体是什么效果相信大家也看出来。

用这个方法除了以上效果还能提高人物一致性。在工作流中加载同一个人的图片进行参考生成。

以下是具体的实现方案。

这个工作流方案的主要核心是一个LTX2.3 的LORA。

项目地址:https://huggingface.co/Alissonerdx/BFS-Best-Face-Swap-Video

正如它仓库所说:该LORA模型是一款专为数字身份研究、专业视觉特效工作流程和电影原型设计而设计的技术工具。

原理讲讲

我们以前介绍过IC-Lora,即In-Context LoRA,

IC-LoRA(In-Context LoRA) 是 LTX-2(Lightricks 官方的 19B 视频扩散模型)独有的进阶技术,专门用来做视频到视频的结构化控制(video-to-video conditioning)。

核心思路:

  • 参考信号(reference image/video)直接嵌入到输入视频的每一帧里,作为“上下文”(in-context)。
  • 模型通过这些嵌入的视觉线索(而不是只靠文本 prompt),精准控制输出视频的空间结构、动作、身份
  • 训练时用特殊 conditioning injection + 高噪声 timestep 分布,让模型“优先学习参考信号”而不是原视频内容。

通过“把参考图塞进视频每一帧上下文”的方式,实现目前最稳定的视频一致性增强。

使用方法

一、下载这个LORA模型:

如上面截图所示,下载后放置comfyUI/models/lora中。

工作流方案,这个大佬也提供了一个示例工作流,它的示例是基于蒸馏版本的LTX2.3的FP8模型搭建。本地设备在16G以上可以直接使用这一套。

二、配套插件:

工作流中需要结合作者开发的一个节点:https://github.com/alisson-anjos/ComfyUI-BFSNodes

直接下载解压放置comfyUI/custom_nodes下

三、工作流:

示例工作流我就不展开讲,我修改下形成GGUF 8G稳定运行的版本。这样更低配置的显存也能运行。

先看我跑的效果。

左边是参考图,右边是视频

原视频:

通过LORA加持后的效果如下:

closerAI Ltx2.3人物一致性LORA视频生成工作流

这时在我们介绍GGUF的方案工作流时的基础上作的视频到视频的修改:

【closerAI ComfyUI】“开源天花板”LTX2.3重磅发布:音视频同步、原生 4K!全网最全的comfyUI GGUF低显存方案! 8G 显存也能飞!

具体修改是下面版块,其它不变:

加载参考图,目标视频,通过设置最长边尺寸进行缩放,然后将视频每一帧与参考图进行处理,得到左右联结的图:

IC-lora就会在此进行作用。

模型加载如下图示,使用Q4_K_M版本,接入LORA模型,这里注意LORA强度要超过1,我试过如果是1的话,效果不明显,1~2之间的值大家可尝试下。

本地像我8G显存,跑1280*720尺寸5秒,用时如下,大家作参考吧。当然,将尺寸缩小至480p会更快。

效果很赞:

小结:

这个LORA很强,本地运行可玩性很强,能做出你想要的效果(懂的都懂哦)我就不强调了。技术很强,但建议大家合理合规地学习。

以上视频案例如有侵权请联系删除,仅供学习使用。


本地算力不够怎么办?

如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn

LTX2.3图生视频应用体验地址:

https://www.runninghub.cn/ai-detail/2029776111051214850

注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151

通过这个链接第一次注册送1000点,每日登录送100点


最后几句:

如果对你有帮助,请一键三连支持下我,感谢


以上是closerAI团队制作的stable diffusion comfyUI closerAI Ltx2.3人物一致性LORA视频生成工作流的介绍,当然,也可以在我们closerAI会员站上获取(查看原文)

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

>/ 作者:JimmyMo

更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

隐藏内容
本内容需权限查看
  • 普通用户: 199金币
  • VIP会员: 免费
  • 永久会员: 免费

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。