WorldFoundry
English中文

FantasyWorld

论文方法总览：FantasyWorld 的方法架构。

FantasyWorld（Alibaba (Amap, Fantasy-AMAP)）：3D 与 4D；已验证; 2 个 variant。

编辑此页GitHubMarkdown

FantasyWorld 通过统一视频与 3D 预测实现几何一致的世界建模：从一张图生成相机可控、几何连贯的世界视频。记录两个 variant——已验证的 Wan2.1 pipeline（面向发布的默认路径），以及在官方显存策略验证前对 Studio 隐藏的 Wan2.2 pipeline。

论文官方 Teaser：FantasyWorld 的相机控制论文配图。
论文官方 Teaser：FantasyWorld 的相机控制论文配图。
论文方法总览：FantasyWorld 的方法架构。
论文方法总览：FantasyWorld 的方法架构。

记录论文为FantasyWorld: Geometry-Consistent World Modeling via Unified Video and 3D Prediction（2025）。

项目页：fantasy-amap.github.io/fantasy-world。代码：Fantasy-AMAP/fantasy-world。

论文：FantasyWorld: Geometry-Consistent World Modeling via Unified Video and 3D Prediction（arXiv 2509.21657）。项目页：fantasy-amap.github.io/fantasy-world。代码：Fantasy-AMAP/fantasy-world。发布方：阿里高德（Fantasy-AMAP），作者含北邮。catalog 把源码标成 source_available——没找到 LICENSE，因此没有记成 open_source。

运行时需要本地 FantasyWorld Wan2.1（acvlab/FantasyWorld-Wan2.1-I2V-14B-480P）、Wan2.1 I2V（Wan-AI/Wan2.1-I2V-14B-480P）、MoGe（Ruicheng/moge-2-vitl-normal）和 CUDA 资产。Runner 按官方相机世界契约已验证。

构建运行命令

推理 Pipeline
FantasyWorldWan21Pipelineworldfoundry.pipelines.fantasy_world.pipeline_fantasy_world
任务Official Camera World official-camera-world
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  fantasyworld-wan21 \
  --pipeline.task-profile official-camera-world \
  --json

变体

  • fantasyworld-wan21
    状态已验证

    image-to-world-video

    Runtime profilefantasyworld-wan21

    Pipeline bindingfantasyworld-wan21

  • fantasyworld-wan22
    状态Runner 一致性待确认

    camera-controlled-world-video

    Runtime profilefantasyworld-wan22

    Pipeline bindingfantasyworld-wan22

用来做什么

用 fantasyworld-wan21 做 catalog 世界模型推理。需要动作条件未来帧、而不是独立片段生成器时选它。

FantasyWorld 在 Wan 视频基座上增加统一的 3D 预测分支，使生成帧遵守场景几何（见 arXiv 2509.21657）。运行需要本地 FantasyWorld Wan2.1、Wan2.1 I2V、MoGe 与 CUDA 资产。该模型由阿里巴巴（高德 Fantasy-AMAP 团队）发布。

catalog 记录的任务包括 geometry-consistent world modeling。别名包括 Geometry-Consistent World Modeling via Unified Video and 3D Prediction。同系列还有 fantasyworld-wan22。

记录的评测入口包括WorldScore（评估几何一致的生成世界）、CameraBench（相机控制质量评测）。

运行时契约

可选 input_path、prompt、camera_json_path、fps、seed；产物 generated_world、fantasyworld-wan21.mp4。

CLI task profile：official-camera-world。绑定的 pipeline 类是 FantasyWorldPipeline。

起步 variant 是 fantasyworld-wan21。catalog 登记了 2 个 variant（上方卡片）：fantasyworld-wan21（image-to-world-video）：Runner 一致性待确认、fantasyworld-wan22（camera-controlled-world-video）：Runner 一致性待确认。系列状态：已验证。

official-camera-world 记录默认值：fps=16, seed=1024。

默认行解析到已验证的树内 Wan2.1 runner——请使用该路径。 Wan2.2 variant 因官方单卡运行需要认可的显存策略而保持 pending。

在 WorldFoundry 中运行

启动 worldfoundry-eval run fantasyworld-wan21 --pipeline.task-profile official-camera-world 推进世界。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128（Python 3.11，CUDA 12.8）。

记录的权重仓库包括 acvlab/FantasyWorld-Wan2.1-I2V-14B-480P、Wan-AI/Wan2.1-I2V-14B-480P、Ruicheng/moge-2-vitl-normal。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh fantasyworld-wan21；下载缺失的公开权重时加 --download。

状态：已验证。