WorldFoundry
English中文

DualCamCtrl

论文方法总览：DualCamCtrl 的双分支框架联合生成对齐的 RGB 与深度视频潜变量。

港科大广州 EnVision：RGB + 深度 + 相机 .torch。官方 demo 已验证：320×480、61 帧、50 步。许可证 unknown。期望产物 seaside.mp4。

编辑此页GitHubMarkdown

DualCamCtrl 用相机轨迹加深度图控制视频：RGB 和深度一起钉住几何，让相机运动落地。WorldFoundry 把推理放在 worldfoundry/synthesis/visual_generation/dualcamctrl，对外是 DualCamCtrlPipeline。Runner 和 demo 都按官方 RGB / 深度 / 相机契约已验证。

论文方法总览：DualCamCtrl 的双分支框架联合生成对齐的 RGB 与深度视频潜变量。
论文方法总览：DualCamCtrl 的双分支框架联合生成对齐的 RGB 与深度视频潜变量。

论文：arXiv 2511.23127。项目页：soyouthinkyoucantell.github.io/dualcamctrl-page。代码：EnVision-Research/DualCamCtrl。发布方：港科大（广州）EnVision Lab。catalog 许可证：unknown。

构建运行命令

推理 Pipeline
DualCamCtrlPipelineworldfoundry.pipelines.component_pipelines
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  dualcamctrl \
  --pipeline.task-profile interactive-video \
  --json

用来做什么

双相机控制，面向立体风格成对输入。

启动 worldfoundry-eval run dualcamctrl。

评测入口：CameraBench（受控生成的相机轨迹贴合度）。

运行时契约

必填 prompt、image；可选 video；actions：camera_trajectory, depth_image；产物 dualcamctrl.mp4、seaside.mp4。

旋钮官方 demo
尺寸320×480
帧数61
步数50
轨迹.torch 相机文件

在 WorldFoundry 中运行

状态：已验证。统一环境 worldfoundry-unified-cu128（Python 3.11, CUDA 12.8）。先把 FayeHongfeiZhang/DualCamCtrl、alibaba-pai/Wan2.1-Fun-V1.1-1.3B-Control-Camera、Wan-AI/Wan2.1-T2V-1.3B 等就位到本地，缺文件加载失败，运行时不下载。在该环境执行 worldfoundry-eval run dualcamctrl。catalog 未记录 VRAM。