WorldFoundry
English中文

Open-Sora-Plan

论文方法总览：Open-Sora-Plan 的机器人操作架构。

北大袁粒课题组 Open-Sora-Plan v1.3 文生视频。Studio demo 已在 640×352 / 93 帧 / 18 fps / 100 步 Euler-ancestral 上通过；runner 一致性仍未记录。

编辑此页GitHubMarkdown

Open-Sora-Plan 是北京大学袁粒课题组的开源文生视频项目——虽与潞晨的 Open-Sora 名字相近，但是独立工作。Hugging Face 权重在 LanguageBind 下；GitHub 是 PKU-YuanGroup。本卡片是 v1.3.0 GPU 路径。WorldFoundry 桥接树内官方采样器（OpenSoraPlanPipeline），权重缺失会在运行时报告。

论文方法总览：Open-Sora-Plan 的机器人操作架构。
论文方法总览：Open-Sora-Plan 的机器人操作架构。

论文是 Open-Sora Plan: Open-Source Large Video Generation Model。代码：PKU-YuanGroup/Open-Sora-Plan。权重：LanguageBind/Open-Sora-Plan-v1.3.0。paper.png 只作标题缩略图。

构建运行命令

推理 Pipeline
OpenSoraPlanPipelineworldfoundry.pipelines.video_official.pipeline_official_video
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  open-sora-plan \
  --pipeline.task-profile interactive-video \
  --json

它用来做什么

只接受 prompt 的文生视频：必填 prompt，产物 open-sora-plan.mp4。本卡片没有本地图生视频或视频到视频（论文讨论过条件控制器，但不是本绑定）。GPU 请用 v1.3.0。LanguageBind 还发布了 v1.0.0–v1.2.0，以及面向昇腾 / MindSpeed 的 v1.5.0——后者不是已验证的 WorldFoundry GPU 路径。开源文生视频质量可对照 VBench，不要当成已摄入排名。

推理

Studio/API 验证复现了官方 v1.3 GPU 脚本（sample_t2v_v1_3.sh / 东京街道）：

旋钮记录值
分辨率640×352（any93x640x640；解码为 93 帧非空 640×352）
帧数93
FPS18
采样器EulerAncestralDiscrete，v_prediction，--rescale_betas_zero_snr
步数100
Guidance7.5
Seed1234
文本编码器google/mt5-xxl（max_sequence_length=512）
VAEWF-VAE WFVAEModel_D8_4x8x8，在 checkpoint 的 vae/ 子目录

该 prompt 的视觉 QA 已记录。catalog 的 runner 证据仍未记录。封装默认单 prompt 用 nproc_per_node=1；官方多 prompt 脚本用 torchrun --nproc_per_node=8。catalog 未记录显存。

在 WorldFoundry 中运行

在 worldfoundry-unified-cu128（Python 3.11，CUDA 12.8）中运行 worldfoundry-eval run open-sora-plan。就位 LanguageBind/Open-Sora-Plan-v1.3.0 与 google/mt5-xxl。scripts/inference/prepare_model_infer.sh 会把约 50 GB 的文本编码器只放一份，避免同时复制进 WORLDFOUNDRY_CKPT_DIR 和 WORLDFOUNDRY_HFD_ROOT。记录的 v1.3 卡片许可是 MIT。状态：Runner 一致性待确认。