WorldFoundry
English中文

Matrix-Game 2.0

Matrix-Game 2.0（Skywork AI）：已与官方 universal 模式完成 15 个 latent 帧的短流程对比；完整 150 帧一致性尚未验证。

编辑此页GitHubMarkdown

Matrix-Game 2.0 是昆仑万维面向实时的交互式世界模型：自回归扩散设计，在游戏场景中跟随键鼠动作。树内 runner 使用官方 bench 动作，在 12 fps、352×640 下与官方 universal 模式完成 15 个 latent 帧的短流程对比；完整 150 个 latent 帧的一致性尚未验证。

论文方法总览：Matrix-Game 2.0 的交互世界模型架构。
论文方法总览：Matrix-Game 2.0 的交互世界模型架构。

论文是 arXiv 2508.13009。项目页：matrix-game-v2.github.io。代码：SkyworkAI/Matrix-Game。

构建运行命令

推理 Pipeline
MatrixGame2Pipelineworldfoundry.pipelines.matrix_game.pipeline_matrix_game_2
任务Official Universal Image official-universal-image
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  matrix-game-2-universal-action-validation \
  --pipeline.task-profile official-universal-image \
  --json

用来做什么

从 matrix-game-2-universal-action-validation 起步，用官方 bench actions。不是 Matrix-Game 1 或 3。

启动 worldfoundry-eval run matrix-game-2-universal-action-validation --pipeline.task-profile official-universal-image。

评测入口：WorldModelBench（动作条件游戏世界滚动生成质量）。

运行时契约

必填 image、official_bench_actions；可选 prompt、video。已记录的短流程对比产出 matrix_game2_official_universal_seed42_15f.mp4 及 JSON 旁路文件；运行时 profile 列出 matrix-game-2-universal-ref-image-seed42-15f.mp4。

官方默认设置为 150 个 latent 帧、12 fps、352×640、seed 42。已记录的对比仅使用 15 个 latent 帧，解码为 57 个 RGB 帧。本仓库未提供该对比的公开 model-zoo demo helper。

加载器在恢复 DiT checkpoint 后接受显式启用的 fuse_qkv，以及 qkv_strategy="packed"、"split" 或 "auto"、quantization 和统一的 compile 参数。QKV 融合保留原有因果注意力和缓存算法。vae_channels_last 与 vae_channels_last_3d 在编译前转换匹配的 Conv2d/Conv3d 解码权重；DiT 使用 BF16 时，解码器仍保留 FP16 权重。不支持的优化请求会在加载前报错。

overlap_vae_decode=True 可在 pipeline 自有 CUDA stream 上解码，同时由调用方 stream 刷新生成器的干净上下文。调用方通过 event join 排序返回视频、张量复制和循环缓存复用，正常生成过程不等待主机同步。每个 pipeline 维护一个活跃 session；调用方需串行执行 start、step、reset 和 close。reset、替换 session、close 或重叠生成失败时，只等待自有解码 stream。失败的重叠 session 必须重新建立；CPU 路径明确记录同步执行回退。

这些开关默认关闭。小规模 CPU/CUDA 回归验证数值输出、缓存推进、stream 顺序和清理。尚未测量它们在完整 checkpoint 上的延迟收益，也未验证完整长度的一致性；编译 wrapper 安装和侧 stream 工作入队均与运行时执行证据分别记录。

在 WorldFoundry 中运行

状态：已验证 15 个 latent 帧的短流程一致性；完整长度一致性及 benchmark 评分仍待完成。统一环境 worldfoundry-unified-cu128（Python 3.11，CUDA 12.8）。先把 Skywork/Matrix-Game-2.0 就位到本地，缺文件加载失败，运行时不下载。在该环境执行 worldfoundry-eval run matrix-game-2-universal-action-validation --pipeline.task-profile official-universal-image。许可证：MIT。记录最低显存 24 GB。