OmniNFT：面向联合音视频生成的模态全方位扩散增强

这是一个由中国科学技术大学、北京大学和京东探索学院联合推出的研究项目 OmniNFT（Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation），旨在解决音视频联合生成中的保真度、跨模态对齐和细粒度同步问题。

以下是该项目的核心总结：

1. 核心痛点

该研究指出，虽然强化学习（RL）在多模态生成中潜力巨大，但在实际应用中面临三大障碍：

• 多目标优势不一致：不同模态（音频/视频）的奖励反馈冲突。
• 多模态梯度不平衡：视频分支的梯度会错误地干扰浅层的音频生成。
• 均匀权重分配：无法聚焦于跨模态同步等细粒度区域。

2. 三大创新机制

为了解决上述问题，OmniNFT 提出了“模态感知在线扩散强化学习框架”，包含三个关键创新：

• 模态优势路由 (Advantage Routing)：将不同模态的奖励优势独立路由到各自的生成分支，避免“一刀切”。
• 逐层梯度调整 (Gradient Surgery)：选择性地在浅层音频层移除视频分支梯度，保护音频特征，同时保留跨模态交互层的联系。
• 区域损失重加权 (Loss Reweighting)：将策略优化集中在音视频同步和细粒度对齐的关键区域。

3. 技术成果

• 基座模型：项目使用 LTX-2 作为骨干网络。
• 性能提升：在 JavisBench 和 VBench 评测中，相比基础 LTX-2 模型，OmniNFT 在音视频质量、一致性以及音视频同步性（AV-Synchrony）指标上均有显著提升。
• 实验数据：数据显示，在各项关键评测指标（如 JavisScore 和 AVHScore）中，OmniNFT 均大幅超越了传统的微调方案。

4. 总结与意义

OmniNFT 通过细粒度的“信用分配”策略，打破了传统 RL 微调方案的局限性。它不仅提升了 AI 生成内容的观感（如画面与声音的精准同步），还证明了在低显存环境（基于 LTX-2 骨干）下，通过科学的强化学习路径，可以大幅度提升模型的生成表现力。

对于从事 AI 视频短剧、多模态应用开发的团队来说，这是一个在保持模型架构不变的情况下，通过算法优化提升生产质量的高效技术路线。

项目页：https://zghhui.github.io/OmniNFT/

KJ已实现LTX2.3的LORA：https://huggingface.co/Kijai/LTX2.3_comfy/tree/main/loras

主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网