NVIDIA 空间智能实验室 (Spatial Intelligence Lab) 近日发布了 Project Lyra 2.0。这不仅仅是一个视频生成模型的升级，更是通往“无限生成 3D 世界”的关键一步。

https://research.nvidia.com/labs/sil/projects/lyra2

https://huggingface.co/nvidia/Lyra-2.0

https://github.com/nv-tlabs/lyra

1. 什么是 Project Lyra？

Project Lyra 是 NVIDIA 开发的一系列开源生成式 3D 世界模型。它的核心逻辑非常独特：先生成模拟相机漫游的视频，再将其实时“提升”为 3D 空间。

  • Lyra 1.0 实现了从单图或视频到 3D/4D 场景的快速重建。
  • Lyra 2.0 则将视野扩展到了“大规模、可探索”的层面，支持长路径的相机轨迹和一致性极高的场景生成。

2. Lyra 2.0 解决了哪些痛点？

在过去，长视频生成往往面临两个致命问题：空间遗忘和时间漂移。Lyra 2.0 通过两大技术创新完美解决了这些难题：

  • 解决空间遗忘（几何路由）： 当你控制相机在一个大房间里转了一圈回到原点时，传统模型往往会忘记原点长什么样。Lyra 2.0 通过“逐帧几何信息路由”建立空间记忆，确保你重访旧区域时，场景依然保持 100% 的 3D 一致性。
  • 解决时间漂移（自增强训练）： 随着生成时间的增加，误差会不断累积导致画面扭曲。Lyra 2.0 引入了自增强训练法，让模型学会“自我纠偏”，在长距离航拍或漫游中依然能维持稳定的几何结构。

3. 核心功能与应用场景

交互式 3D 探索

Lyra 2.0 配备了一个强大的图形用户界面 (GUI)。用户可以像玩第一人称游戏一样，实时规划相机轨迹。模型会根据你的移动，“即时”生成前方的未知世界。

从像素到物理引擎

生成的视频可以进一步转化为：

  • 3D Gaussian Splatting (GS)： 实现极高保真度的实时渲染。
  • 3D Meshes (网格)： 兼容主流建模软件。
  • NVIDIA Isaac Sim 导入： 这是该项目的一大亮点。生成的场景可以直接导入 Isaac Sim，用于机器人的导航训练和具身智能 (Embodied AI) 的仿真实验。

4. 为什么 AIGC 创作者需要关注它？

对于 AI 视频和 3D 开发者来说，Lyra 2.0 提供了一个从“平面”跨越到“空间”的工具。它打破了视频生成只是“播片”的局限，让生成的内容具备了物理属性和交互可能。

目前，Lyra 的源代码已在 GitHub 上以 Apache-2.0 协议开源。无论你是想构建自动驾驶的虚拟测试场，还是想为 AI 短剧制作一致性极高的 3D 转场，Lyra 2.0 都是目前最值得研究的底层框架之一。

项目资源

  • GitHub: nv-tlabs/lyra
  • 技术关键词: 视频扩散模型、3D 一致性、Gaussian Splatting、具身智能。

小结： Lyra 2.0 代表了生成式 AI 从“内容生成”向“世界构建”的进化。未来，我们可能只需一张照片，就能通过它“走”进一个无限延展的数字孪生世界。

主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。