更多AI前沿科技资讯,请关注我们:
【closerAI ComfyUI】开闭源模型综合应用视频生成:GPT image2.0+Ltx2.3+seedance2.0!低成本高质量完成视频内容生产!

大家好,我是Jimmy。
上一篇文章分享了高效AI视频生成法:强大得有些过分!必须曝光它!目前最高效AI视频生成法:GPT image2.0故事板设计图+seedance2.0直出视频!一图就是剧本!一图就能直出!大家都十分活跃相信大家也使用对应的提示词来高效生成自己的视频内容了。
这个方法目前可以说是无敌,唯一缺点就是要钱。但企业用户和小B端本身就是企业账号花钱买积分来生成的。这种方法可谓是节约成本与时间。
但对于个体,我们其实还是能用免费的方式来持续生产。首先是GPT image2.0本身在chatGPT上是免费生成,但有次数限制,达到了次数限制怎么办?注册多几个邮箱来注册GPT不就行了,基本免费日常使用了。同理,如果有多个手机号可注册多个豆包免费使用它每日额度生成视频,一般一个号四个视频额度,多号就如此类推。同时在视频生成这一块,LTX2.3目前是开源模型中唯一一个音画同步生成的视频模型,目前它的生态也在逐渐完善,是开源视频模型中最重要也是无可替代的模型没有之一。
目前,我们已经围绕它打造出低配置可运行的工作流版本:【closerAI ComfyUI】“开源天花板”LTX2.3重磅发布:音视频同步、原生 4K!全网最全的comfyUI GGUF低显存方案! 8G 显存也能飞!
随着社区的分力,在一致性、分镜画面、LORA等方面全面开花,特别是一些关键技术的出现,如LTX2.3蒸馏版的V1.1发布,以及KJ大佬复现了Prompt Relay 项目:用于多事件视频生成中时间控制的推理时间提示路由。这的作用是在长视频中精准控制不同事件发生的时间点。Prompt Relay 提供了一个低成本、高效率的方案,通过文字精准地“定场”和“转场”。……这些技术的出现,LTX2.3的可控性与质量方面大大提升,已能实现多参考图、音频、文本等作为参考一起进行视频的生成。
所以在视频生成这一块,对于个人的话性价比最高。那如何将开闭源的模型用到极致呢?也就是充分利用免费的渠道去实现我们的内容生产呢?
下面我将分享下我的经验,如果对你有帮助请一定要一键三连支持下我!这对我很重要!谢谢!
先看效果:
【开闭源综合运用,Ai视频生成法:lTX2.3+N宫格分镜+故事板+seedance2。充分发挥各自优势!】 https://www.bilibili.com/video/BV1uP5M6CEGD/?share_source=copy_web&vd_source=da03c3d0ff6327876039271ca6c7c956
首先是视频主题,最近比较入脑的一首歌来自草蜢和EASON的《世界会变得很美》,那就做一个关于猪小萌IP的MV吧。
首先是音乐,直接上网下载视频利用视频工具处理下。
然后是画面。因为歌曲很多,要控制长度,大约一分钟左右吧。我构思是独唱、合唱、MV画面。
那直接去GPT上生成。


同时让它生成分镜脚本内容,这在后面使用LTX2.3视频生成时有用。

同样的方法生成多人合唱的四宫格分镜和脚本。

MV的其它内容画面,我打算用Seedance2.0生成。
这里直接使用我们上一期介绍的高效GPT故事板+Seedance2.0的方法来实现,具体如下图所示:

然后我们就得到了故事板:

拿这个直接去豆包上生成视频:

同理,因为豆包生成有水印,我们直接使用之前教程里说的工具:GPT-image 2.0 + Seedance 2.0:全网最强 AIGC 组合,打造游戏设计概念原型片!开启“输入即交付”时代!
使用nowater工具来获取高清无印的视频。直接去下载工具:https://mochi.douyoubuy.cn/#/marketplace/prod_1777348027655

视频则需要在手机APP端操作:


我们得到链接后,粘贴到

然后就能解析出高清视频,直接下载即可。

这个视频的主要内容已得到,那剩下就是音频对口型的视频生成,这里使用我们closerAI LTX2.3四宫格自动切图+自定义音频视频生成工作流

我在【closerAI ComfyUI】强得离谱!LTX2.3的N宫格分镜视频生成法!GPT image2负责一致性生成N宫格分镜,LTX 2.3直接生成!显存越强它越强!这个文章中详细介绍了如何使用工作流。

主要将上面三个框的参数填写下,设置尺寸、加载音频和四宫格分镜,在Prompt Relay Encode (Timeline)每个分镜填写下上面生成的脚本内容。然后点击生成。
这里要注意一点是,尺寸最大质量越好,但生成时间相对会久,这要看自己设备的能力。
最后,将三个视频进行后期。
直接合成

我也做了个纯对口型的:

以上就是关于充分利用免费渠道生成图像,主要是利用GPT一致性的生成与交付生成的能力去完成故事板与分镜图。然后可直接利用豆包免费额度的Seedance2.0 fast生成视频,在对口型方面可使用开源模型LTX2.3,用comfyUI工作流去进行生成。这样,针对不同场景选用不同的模型去实现我们的想法。开闭源充分利用,让AIGC可玩性、可能性更高。
当然,如果你本身就是人民币玩家以上方法可直接忽略。
上面在制作中,还有另外一种方法,在runningHug上的无限画布,也可以使用GPT image进行生成:

它集成了多个优秀的闭源模型:

在图像与视频生成中,一个节点就能直接调用使用并生成。十分方便,且价格优惠。它通过集成闭源模型简化了工作流程直接输入即所得,速度很快。是一个不错的选择。通过注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151 注册后打开无限画面

关于分镜我也在RH上生成了应用,可通过下方直接使用。
本地算力不够怎么办?
如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn

NanoBanana Pro分镜图应用体验地址:
注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151
通过这个链接第一次注册送1000点,每日登录送100点
最后几句:
如果对你有帮助,请一键三连支持下我,感谢
CloserAI AI短剧工作台(本地化解决方案):AI短片/短剧Agent工作台closerAI FlowStudio本地AIGC无限画布创作工具:CLOSERAI FlowStudio无限画布closerAI AI绘画大师万象视界:CLOSERAI VISION万象视界CLOSERAI POD电商印花批量生产工作站: https://aigc.douyoubuy.cn/?page_id=420541 印花提取: https://aigc.douyoubuy.cn/yinhua/
以上是就是本期的分享内容,当然,更多工作流、资讯、插件、工具也可以在我们closerAI会员站上获取(查看原文)。
以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。
>/ 作者:JimmyMo
更多AI前沿科技资讯,请关注我们:

小伙伴如果本地有困难,下方同时提供在RH上可运行的工作流给大家:
主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

评论(0)