更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

【closerAI ComfyUI】LTX2.3 多画面视频生成创作思路:多分镜多层次打造,提升视频质量与叙事表达张力

大家好,我是Jimmy。

这期仍然是关于LTX2.3视频生成。这两天也不断地尝试玩这个LTX2.3。有些心得分享下。

前面介绍了8G显存设备部署LTX2.3的方案:【closerAI ComfyUI】“开源天花板”LTX2.3重磅发布:音视频同步、原生 4K!全网最全的comfyUI GGUF低显存方案! 8G 显存也能飞!这是一个既稳定又快速的解决方案。

然后分享了一个提示词优化节点,让提升LTX2.3视频生成的质量:【closerAI ComfyUI】从平庸到炸裂!结构化提示词大法,让 LTX2.3 生成效果更炸裂!这一招直接让画质翻倍,视频质感拉满!

基于GGUF以及提示词优化的视频生成已经证明是OK的,那如果进行多画面视频生成是否也能出好的效果?

单个画面视频是OK的,前面教程中生成的视频:

就是想在稍微长一点的视频中,切换不同画面,让视频内容表达得更为丰富。

本来想着3~4秒一个分镜画面单独生成,这样视频质量会更好,然后再通过剪辑合并,但是缺点是单独生成会导致没有上下文,很难再将多个画面剪辑到一起,因为音效不一样了设置人物声音也不同了,这在后期去处理会很麻烦。那只能是一次性生成多分镜画面的内容。这就要在提示词进行更详细的阐述了。

提示词方面的话,使用结构化提示词来描述。这里我拿这个提示词和参考图来作为例子

内容:她哭着说道:“再见了!是时候该放手了,去吧,找你心爱的她”

以此来展开。

结构化提示词我在上一年开发过一个comfyUI节点:真强技巧立杆见影!让视频生成更专业!更精准!AI视频Json结构化提示词,让多模态视频生成模型更容易理解!建议收藏学习!

但这次我希望是带参考图的提示词生成。我就没优化节点,直接用这个节点输出指令,然后接入qwen3-VL来进行生成。

"分镜号": 1,
"镜头语言": "远景镜头,固定机位,建立场景。",
"主体与动作": "Kaito 孤独地伫立在废弃码头的末端,背对着镜头,海风吹动她深棕色大衣的下摆。",
"环境与光线": "黄昏时分,地平线泛着深橘色的余晖,码头的木质结构在逆光下呈现深色的剪影。",
"提示词": "远景镜头,Kaito穿着深棕色复古军风大衣伫立在废弃码头末端,背影显得孤独凄凉。背景是深橘色的黄昏余晖,码头剪影清晰,海风吹拂。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 2,
"镜头语言": "全景镜头,侧面视角,伴随轻微的轨道平移。",
"主体与动作": "Kaito 微微低头,双手紧紧裹住大衣,手指因用力而关节泛白,表现出内心的挣扎。",
"环境与光线": "暖调的侧逆光,勾勒出她大衣面料的粗粝质感,空气中漂浮着细小的尘埃。",
"提示词": "全景侧拍,Kaito低头站立,双手用力裹紧深棕色大衣。侧逆光照亮大衣粗粝的纹理,环境充满忧郁氛围。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 3,
"镜头语言": "中景镜头,正面视角。",
"主体与动作": "Kaito 抬起头,双眼湿润,泪水在眼眶中打转,她深吸一口气,试图开口说话。",
"环境与光线": "柔和的面部光线,强调她精致而脆弱的面部特征,背景呈现虚化的工业废土剪影。",
"提示词": "中景正面镜头,Kaito抬头,深棕色的大眼充满泪水,面部线条精致柔和。背景虚化的工业废土,光影柔和。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 4,
"镜头语言": "特写镜头,使用85mm f/1.4镜头,极浅景深。",
"主体与动作": "Kaito 的唇部特写,她颤抖着吐出:“再见了!”。唇瓣的纹理和晶莹的泪滴清晰可见。",
"环境与光线": "黄金时刻的逆光形成发丝光,泪珠在光线下闪烁,肤质纹理极其细腻。",
"提示词": "85mm镜头特写,Kaito颤抖的唇部动作,清晰记录她说出“再见了”的瞬间。泪水顺着脸颊滑落,逆光下肤质细腻,发丝光亮。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 5,
"镜头语言": "大特写,焦距锁定在眼部。",
"主体与动作": "Kaito 的眼神特写,眼泪顺着睫毛滑落,眼神从破碎逐渐转为一种决绝的温柔。",
"环境与光线": "瞳孔中倒映着落日的余晖,光影交错,情感表达极其丰富。",
"提示词": "眼部大特写,Kaito深棕色的瞳孔倒映着落日,长睫毛上挂着泪珠并滑落,神情悲伤而决绝。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 6,
"镜头语言": "手持摄影感的中景镜头,轻微晃动感增加真实感。",
"主体与动作": "Kaito 哭着说道:“是时候该放手了……”,她微微摇头,几缕碎发在风中乱舞。",
"环境与光线": "冷暖对比色调,夕阳的橘红与阴影区的幽蓝交织,强化情绪的撕裂感。",
"提示词": "手持感中景,Kaito哭着说出放手的台词,风吹乱她的发丝,面部表情极其动人。冷暖对比色调,情绪饱满。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 7,
"镜头语言": "特写镜头,缓慢推近(Push-in)。",
"主体与动作": "镜头直视 Kaito 的面容,她带着哭腔喊道:“去吧,找你心爱的她”。鼻尖通红,情感彻底爆发。",
"环境与光线": "低饱和度电影调色,高动态范围清晰记录泪水流过皮肤的轨迹。",
"提示词": "特写推近镜头,Kaito彻底爆发情感,喊出最后告别的台词。鼻尖通红,泪痕交错,低饱和度电影调色。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 8,
"镜头语言": "微距镜头,关注道具细节。",
"主体与动作": "Kaito 的手颤抖着抚摸大衣上那颗摇摇欲坠的牛角扣,随后松开,象征着关系的断裂。",
"环境与光线": "极浅景深,焦点在大衣纽扣的质感上,背景彻底虚化为温暖的光斑。",
"提示词": "微距镜头,Kaito颤抖的手抚摸并松开大衣上摇摇欲坠的牛角扣。背景虚化成绝美的金色光斑,隐喻告别。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。"

"分镜号": 9,
"镜头语言": "拉远镜头(Pull-out),俯瞰视角。",
"主体与动作": "Kaito 依然站在码头上,但身后的落日已经彻底落下,她变成了一个在广阔天地间微小的黑点。",
"环境与光线": "暮色笼罩,码头尽头的灯光微弱亮起,空间充满了无尽的疏离感与孤独感。",
"提示词": "俯瞰拉远镜头,Kaito缩小的身影在巨大的废弃码头上,暮色四合,孤独感达到顶峰。核心风格:epic cinematic 8K, photorealistic, shallow depth of field, professional color grading, extremely detailed, high dynamic range (HDR)。

然后将提示词粘贴到LTX2.3 GGUF图生视频工作流中,生成效果:

再简化了下分镜数量,毕竟生成的长度有限。12秒左右。

分镜 1:孤独的伫立(远景)
时间戳: 00:00-00:03
镜头语言: 远景镜头,固定机位。
主体动作: Kaito  孤零零地站在废弃码头末端,背对镜头,海风吹动大衣下摆,背影透着破碎感。
环境光线: 暖调夕阳逆光,地平线泛着橘色余晖,码头木质结构呈现深色剪影。
文生视频提示词: 远景镜头,Kaito穿着复古军风大衣伫立在废弃码头末端,背影孤独。背景是深橘色落日余晖,码头剪影清晰,海风吹拂。
分镜 2:无声的挣扎(全景至中景)
时间戳: 00:03-00:06
镜头语言: 全景侧拍,伴随缓慢轨道平移。
主体动作: Kaito 微微低头,双手用力裹紧大衣,指关节因用力而泛白,展现出内心的剧烈挣扎。
环境光线: 侧逆光勾勒大衣粗粝质感,空气中漂浮着细小尘埃。
文生视频提示词: 全景侧拍,Kaito低头站立,双手用力抓紧大衣。侧逆光照亮衣服纹理,环境充满忧郁氛围。
分镜 3:破碎的开端(正面中景)
时间戳: 00:06-00:09
镜头语言: 中景镜头,正面视角。
主体动作: Kaito 抬头直视前方,双眼湿润,泪水夺眶而出。她深吸一口气,颤抖着吐出:“再见了!”。
环境光线: 柔和面部光线,背景是虚化的工业废土,光影冷暖交织。
文生视频提示词: 中景正面,Kaito抬头,双眼充盈泪水并划落,嘴唇颤抖做出“再见了”的口型。背景虚化,光影柔和。
分镜 4:决绝的放手(近景特写)
时间戳: 00:09-00:12
镜头语言: 85mm肖像特写,极浅景深。
主体动作: 镜头聚焦面部,她带着哭腔坚定地说道:“是时候该放手了……”,眼神从破碎转为决绝。
环境光线: 黄金时刻发丝光,泪珠在睫毛上闪烁。
文生视频提示词: 脸部特写,Kaito哭着说出“是时候该放手了”,捕捉泪水滑过皮肤的路径,眼神哀伤而决绝。
分镜 5:最后的叮嘱(大特写)
时间戳: 00:12-00:15
镜头语言: 镜头缓慢推近(Push-in),面部大特写。
主体动作: Kaito 鼻尖通红,情感彻底爆发,大声喊道:“去吧,找你心爱的她”。
环境光线: 低饱和度调色,高动态范围记录极致的面部情感细节。
文生视频提示词: 大特写推近,Kaito情绪爆发说出“找你心爱的她”,鼻尖通红,泪痕交错,极高细节的黑白质感。
分镜 6:余晖中的消散(远景拉镜头)
时间戳: 00:15-00:18
镜头语言: 拉远镜头(Pull-out),俯瞰视角。
主体动作: Kaito 依然站立,但夕阳已沉入地平线,她在广阔的码头上缩减成一个微小的黑点。
环境光线: 暮色笼罩,空间充满了无尽的孤独与疏离。
文生视频提示词: 俯瞰拉远镜头,Kaito渺小的身影在巨大的废弃码头上,暮色四合,夕阳消失,孤独感达到巅峰。

再生成几次:

另一次:

挺有画面感的。遵循提示词来生成。还行。

换张图,再试下。

提示词

分镜 1:城市的注视(全景)
时间戳: 00:00-00:03
镜头语言: 全景固定镜头,对称构图。
主体动作: Kaito (image_1.png 形象) 孤独地伫立在纽约街头中线,身体正直,双眼直视镜头,表情从冷静逐渐变得颤抖,泪水在眼眶中积聚。
环境光线: 纽约城市街道,强烈的正午日光形成鲜明阴影,地面可见“RIGHT ONLY”标线。黑白影像。
文生视频提示词: 全景镜头,Kaito穿着复古风衣正直站在纽约街道中线,黑白影像,强烈日光阴影。表情从冷静转为含泪。epic cinematic 8K, photorealistic, black and white.
分镜 2:破碎的开端(近景)
时间戳: 00:03-00:06
镜头语言: 近景镜头,微调焦距,极浅景深。
主体动作: 第一滴泪水划过脸颊。她深吸一口气,哭着开口说出:“再见了!”。唇部动作清晰且伴随剧烈颤抖。
环境光线: 焦点紧锁在湿润的眼睛和唇部,背景建筑完全虚化。黑白影像。
文生视频提示词: 近景特写,Kaito流下第一滴泪,颤抖着做出“再见了!”的口型。背景极度虚化。photorealistic, 8K, black and white, emotional.
分镜 3:痛苦的决绝(特写)
时间戳: 00:06-00:09
镜头语言: 稍稍推近的脸部特写(Push-in)。
主体动作: 她哽咽着继续说:“是时候该放手了……”,随后痛苦地闭上双眼,以此掩饰内心的破碎。
环境光线: 柔和的光线掠过湿润的睫毛,强调面部脆弱的纹理。黑白影像。
文生视频提示词: 脸部特写,Kaito闭眼哭泣说出“是时候该放手了”,捕捉睫毛上的泪珠和细腻皮质。epic cinematic, high dynamic range, black and white.
分镜 4:最后的嘱托(大特写)
时间戳: 00:09-00:12
镜头语言: 极近距离的大特写,焦距锁定在瞳孔与唇部。
主体动作: 她重新睁开眼,眼神绝望而温柔,用尽最后力量说出:“去吧,找你心爱的她”。泪珠连续滑落。
环境光线: 逆光勾勒轮廓,背景变为纯粹的黑影。黑白影像。
文生视频提示词: 大特写镜头,Kaito说出“去吧,找你心爱的她”,瞳孔微颤,泪珠流淌,极高细节的黑白微距感。macro, emotional, extremely detailed.
分镜 5:断开的联系(细节)
时间戳: 00:12-00:15
镜头语言: 手部与道具特写。
主体动作: 她原本紧紧攥住风衣纽扣的手缓缓松开,手指无力地垂落在身体两侧,象征彻底的诀别。
环境光线: 焦点锁定在大衣粗粝的质感和手指松开的动作上。黑白影像。
文生视频提示词: 手部细节特写,Kaito松开攥紧的风衣纽扣,手指滑落,背景虚化。symbolic, shallow depth of field, 8K, black and white.
分镜 6:孤寂的终点(远景拉)
时间戳: 00:15-00:18
镜头语言: 快速拉远镜头(Pull-out)。
主体动作: Kaito 伫立在空旷的街道中央,身影在两侧摩天大楼的挤压下显得极其渺小,画面逐渐隐去。
环境光线: 全景暮色感,光影拉长,呈现极致的疏离感。黑白影像。
文生视频提示词: 远景拉远镜头,Kaito渺小的身影在巨大的纽约建筑群中显得微不足道,黑白影像渐隐。epic cinematic, lonely atmosphere, black and white.

执行工作流生成:

总结下:

通过结构化提示词,描述每个画面内容,能让LTX2.3在对应时间内生成多分镜的视频画面,丰富表达,让故事更出彩。

结构化提示词模板如下:

分镜 1:全景
时间戳: 00:00-00:03
镜头语言: 全景固定镜头,对称构图。
主体动作: Kaito 孤独地伫立在纽约街头中线,身体正直,双眼直视镜头,表情从冷静逐渐变得颤抖,泪水在眼眶中积聚。
环境光线: 纽约城市街道,强烈的正午日光形成鲜明阴影,地面可见“RIGHT ONLY”标线。黑白影像。

同时建议:

1、使用模型分离后的工作流,comfyUI官方实现LTX2.3的工作流,我多次使用与分离后的对比,最为稳定。

2、单个画面提示词要进行优化,会提升视频画面感;如果要呈现多个画面,则通过提示词进行每个分镜的画面描述,让视频表达更丰富;

3、尺寸最好在1280*720以上的横竖屏;


本地算力不够怎么办?

如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来运行体验:runninghub.cn

LTX2.3图生视频应用体验地址:

https://www.runninghub.cn/ai-detail/2029776111051214850

注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151

通过这个链接第一次注册送1000点,每日登录送100点


最后几句:

如果对你有帮助,请一键三连支持下我,感谢


以上是closerAI团队制作的stable diffusion comfyUI closerAI LTX-2.3 GGUF+提示词优化视频生成工作流(8G可运行版本)0312的介绍,当然,也可以在我们closerAI会员站上获取(查看原文)

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

>/ 作者:JimmyMo

更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

隐藏内容
本内容需权限查看
  • 普通用户: 199金币
  • VIP会员: 免费
  • 永久会员: 免费

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。