WorldFoundry
English中文

Lyra

Lyra（NVIDIA）：3D 与 4D；已验证; 2 个 variant。

编辑此页GitHubMarkdown

Lyra 是英伟达面向探索的生成式世界模型家族：Lyra-1 从图像或视频、Lyra-2 从动作输入生成可探索的世界视频。本 catalog 中两个 variant 都经由内置运行时适配器支撑的树内 pipeline 运行，默认 runner 指向 Lyra-2，runner 状态为 已验证。

论文官方 Teaser：Lyra 2.0 从单图经视频生成与 3D 高斯泼溅得到长程三维一致世界。
论文官方 Teaser：Lyra 2.0 从单图经视频生成与 3D 高斯泼溅得到长程三维一致世界。
论文方法总览：空间记忆与稠密三维对应条件化 DiT 生成相机引导视频，再重建 3DGS。
论文方法总览：空间记忆与稠密三维对应条件化 DiT 生成相机引导视频，再重建 3DGS。

项目页：research.nvidia.com/labs/sil/projects/lyra2。代码：nv-tlabs/lyra。

论文是 Paper。项目页：research.nvidia.com/labs/sil/projects/lyra2。代码：nv-tlabs/lyra。

构建运行命令

推理 Pipeline
Lyra1Pipelineworldfoundry.pipelines.lyra.pipeline_lyra1
任务Official Static Sdg official-static-sdg
环境lyra
设备CUDA 12.4
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  lyra-1 \
  --pipeline.task-profile official-static-sdg \
  --json

变体

  • lyra-1
    状态已验证

    image-or-video-to-world-video

    Runtime profilelyra-1

    Pipeline bindinglyra-1

  • lyra-2
    状态已验证

    action-conditioned-world-video

    Runtime profilelyra-2

    Pipeline bindinglyra-2

用来做什么

用 lyra-1 做 catalog 世界模型推理。需要动作条件未来帧、而不是独立片段生成器时选它。

catalog 记录两代模型：Lyra-1 做图像/视频到世界视频，Lyra-2 做动作条件世界视频（论文见 OpenReview，项目页在 NVIDIA Research）。运行需要本地 Lyra checkpoint、文本编码器资产、DA3（Depth Anything 3）资产与 CUDA 依赖；除已记录结构外的内部细节仓库未存。该模型由英伟达（NVIDIA）发布。

catalog 记录的任务包括 open generative 3D and 4D world models。别名包括 Project Lyra、Lyra 1.0、Lyra 2.0。同系列还有 lyra-2。

记录的评测入口包括WorldScore（可探索生成世界的标准评分）、CameraBench（评估探索过程中的相机/视角控制质量）。

运行时契约

可选 image、prompt、mode、trajectory、camera_rotation；产物 generated_world、generated_3d_asset、lyra-1.mp4。

CLI task profile：official-static-sdg、official-zoomgs。绑定的 pipeline 类是 LyraPipeline。

起步 variant 是 lyra-1。catalog 登记了 2 个 variant（上方卡片）：lyra-1（image-or-video-to-world-video）：Runner 一致性待确认、lyra-2（action-conditioned-world-video）：Runner 一致性待确认。系列状态：已验证。

official-zoomgs 记录默认值：fps=16, seed=1。

按输入选 variant：从图像或视频出发用 lyra-1，用动作驱动世界用 lyra-2。 默认 catalog runner 解析到 Lyra-2。

必填 prompt、image、video；actions：navigation_actions, camera_trajectory；产物 generated_world、generated_3d_asset、lyra.mp4。

在 WorldFoundry 中运行

启动 worldfoundry-eval run lyra-1 --pipeline.task-profile official-static-sdg 推进世界。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

记录的权重仓库包括 depth-anything/DA3NESTED-GIANT-LARGE-1.1。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh lyra-1；下载缺失的公开权重时加 --download。

状态：已验证。