更多AI前沿科技资讯，请关注我们：
【closerAI ComfyUI】很强！LTX2.3也能参考生视频？参考生成LORA，让视频实现物体替换，LTX2.3生态逐步完善！
大家好，我是Jimmy。
LTX2.3在目前仍然是开源界全村的希望。在前面我介绍过很多期LTX2.3的方案，在人物一致性控制（换头等）有：【closerAI ComfyUI】突破！LTX2.3视频生成模型的人物一致性解决方案，一致性大幅度提升，一个LORA带来的质的变化！当时这个方案是得益于社区大佬的一个LORA实现。
这次，同样来自这位大佬的LORA：利用LTX2.3本身的视频编辑能力，通过遮罩实现局部重绘，同时参考图像特性来进行的重绘生成。也就是能实现物体的替换。
LORA地址：https://huggingface.co/Alissonerdx/LTX-LoRAs
我们先看看效果：
大佬提供了示例工作流，是基于comfyUI官方的LTX2.3来的，运行起来吃配置，没个24G搞不起来。但有条件的小伙伴可以尝试下。
在此基础上，我重新修改了工作流，结合我之前给出的LTX2.3 GGUF低显存方案：【closerAI ComfyUI】“开源天花板”LTX2.3重磅发布：音视频同步、原生 4K！全网最全的comfyUI GGUF低显存方案！ 8G 显存也能飞！
以下是closerAI Ltx2.3+参考替换GGUF工作流0408
LTX2.3的GGUF工作流主要是加载模型这块：
然后对目标参考图进行去背景的处理：
对视频进行自动/手动遮罩：
以下是自动遮罩：
手动遮罩效果：
所以在遮罩方面建议是手动遮罩更为精准。
然后将参考图像与遮罩视频形成左右结构，这是IC-lora的原理了。
然后进行采样生成：
然后是生成结果：
从效果上看，在人物方面大致能参考到参考图人物特征，但这仅仅是第一个版本的LORA：ltx23_inpaint_masked_r2v_rank32_v1_3000steps.safetensors
作者也提示说：使用了全身参考图。提示必须非常具体，否则模型会泄露场景中已有角色的身份信息，而不是按照预期的参考图进行建模。实际上，这意味着提示的精确性对于减少身份泄露至关重要。也就是说在提示词中尽可能地描述出这个人物特点。
所以这是一个对LTX2.3而言未来十分重要的一个LORA，在它迭代出第二第三个版本时，物体与人物的替换相信会更精艳。因为在前面的人脸参考LORA已经非常成功。
本地算力不够怎么办？
如果本地设备算力不好的小伙伴，推荐使用线上comfyUI来运行体验：runninghub.cn
LTX2.3图生视频应用体验地址：
注册地址：https://www.runninghub.cn/?utm_source=kol01-RH151
通过这个链接第一次注册送1000点，每日登录送100点
最后几句：
如果对你有帮助，请一键三连支持下我，感谢
以上是closerAI团队制作的stable diffusion comfyUI closerAI Ltx2.3+参考替换GGUF工作流0408的介绍，当然，也可以在我们closerAI会员站上获取(查看原文)。
以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
>/ 作者：JimmyMo
更多AI前沿科技资讯，请关注我们：
closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台
主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网
评论(0)