WorldFoundry
English中文

CameraCtrl

论文方法总览：相机编码器把轨迹特征注入预训练视频扩散骨干。

CameraCtrl（The Chinese University of Hong Kong / Shanghai AI Laboratory）：世界模型、video；已验证。

编辑此页GitHubMarkdown

CameraCtrl 开创了文生视频扩散的即插即用相机控制：基于 Plücker 嵌入训练相机编码器，让轨迹无需重训基座即可操控生成。本 catalog 中集成与 runner 均已验证——树内合成后端在统一环境档案中遵循官方轨迹文生视频 demo 契约。

论文官方 Teaser：CameraCtrl 为通用与个性化文生视频控制相机轨迹。
论文官方 Teaser：CameraCtrl 为通用与个性化文生视频控制相机轨迹。
论文方法总览：相机编码器把轨迹特征注入预训练视频扩散骨干。
论文方法总览：相机编码器把轨迹特征注入预训练视频扩散骨干。

记录论文为arXiv 2404.02101。

项目页：hehao13.github.io/projects-CameraCtrl。代码：hehao13/CameraCtrl。

这不是 AC3D（CogVideoX ControlNet），也不是 ATI（Wan2.1 点轨迹）。

构建运行命令

推理 Pipeline
CameraCtrlPipelineworldfoundry.pipelines.component_pipelines
任务Trajectory Video trajectory-video
环境worldfoundry-unified-cu128
设备CUDA 11.3
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  cameractrl \
  --pipeline.task-profile trajectory-video \
  --json

用来做什么

cameractrl 是记录的相机控制路由。按 catalog 相机路径推进时从这里起步。

按论文（arXiv 2404.02101），相机位姿编码为 Plücker 嵌入，通过可训练的相机编码器注入冻结的视频扩散基座（官方版基于 AnimateDiff）。WorldFoundry 将运行时内置于 synthesis/visual_generation/cameractrl/cameractrl_runtime；checkpoint 保存在常规 hfd/ckpt 缓存。该模型由香港中文大学 / 上海人工智能实验室发布。

catalog 记录的任务包括 世界模型、video、相机控制。输出模态为视频。

记录的评测入口包括CameraBench（相机轨迹贴合度的标准评测）。

运行时契约

可选 prompt、trajectory_file、frames、fps、height；产物 cameractrl.mp4。

CLI task profile：trajectory-video。绑定的 pipeline 类是 CameraCtrlPipeline。

系列状态：已验证。

trajectory-video 记录默认值：frames=16, fps=8, height=256, width=384, guidance_scale=14.0, seed=42。

runner 遵循官方 demo 轨迹契约——提供相机轨迹文件与文本提示词即可。

在 WorldFoundry 中运行

启动 worldfoundry-eval run cameractrl --pipeline.task-profile trajectory-video 跟随相机路径。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128（Python 3.11，CUDA 11.3）。

记录的权重仓库包括 hehao13/CameraCtrl。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh cameractrl；下载缺失的公开权重时加 --download。

状态：已验证。