WorldFoundry
English中文

Open-MAGVIT2

论文方法总览：Open-MAGVIT2 的方法架构。

Open-MAGVIT2（Tencent (ARC Lab)）：视频分词；已验证。

编辑此页GitHubMarkdown

Open-MAGVIT2 是腾讯 ARC 对 MAGVIT-v2 免查表（lookup-free）视觉分词器的开源复现，并在其上构建自回归生成。本 catalog 中可运行的路径是 ImageNet 类条件图像生成——完整 256 token 生成已通过 checkpoint 加载的 GPU 与语义视觉 QA 验证（256x256、ImageNet 类别 207）。产物是 PNG 图像而非视频。

论文方法总览：Open-MAGVIT2 的方法架构。
论文方法总览：Open-MAGVIT2 的方法架构。

记录论文为arXiv 2409.04410。

代码：TencentARC/Open-MAGVIT2。

构建运行命令

推理 Pipeline
OpenMAGVIT2Pipelineworldfoundry.pipelines.component_pipelines
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 11.3
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  open-magvit2 \
  --pipeline.task-profile interactive-video \
  --json

用来做什么

open-magvit2 是记录的图像生成线。prompt 到图像的推理从这里起步。

树内记录两部分：带超大码本的免查表量化（LFQ）分词器，以及为指定 ImageNet 类别预测视觉 token 的自回归 Transformer。class_id 输入选择类别；生成通过内置 CUDA 封装执行。该模型由腾讯（ARC Lab）发布。

catalog 记录的任务包括 视频分词、class-conditional-image-generation、autoregressive-generation。别名包括 open_magvit2、openmagvit2。

运行时契约

可选 prompt、input_path、interactions、fps、steps；产物 open_magvit2.png。

CLI task profile：interactive-video。绑定的 pipeline 类是 OpenMAGVIT2Pipeline。

系列状态：已验证。

runner 状态为 已验证——该路径确实用 TencentARC/Open-MAGVIT2 权重（apache-2.0）在 GPU 上跑通过。 预期要放对位置：这是类条件图像生成，不是提示词生成视频；视频分词是其分词器在上游支持的能力。

可运行路径仅支持类条件图像生成——没有自由提示词，也没有视频输出。

在 WorldFoundry 中运行

catalog 启动命令是 worldfoundry-eval run open-magvit2 --pipeline.task-profile interactive-video。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128（Python 3.11，CUDA 11.3）。

记录的权重仓库包括 TencentARC/Open-MAGVIT2。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh open-magvit2；下载缺失的公开权重时加 --download。

记录 license 为 apache-2.0；状态：已验证。