Matrix-Game 3.0

论文方法总览:Matrix-Game 3.0 的交互世界模型架构。

Matrix-Game 3.0(Skywork AI (Kunlun Tech)):`prompt`、`image` 进,`matrix-game-3.mp4` 出;runner 已验证。

Matrix-Game 3.0 是昆仑万维的第三代,以少步推理把交互式世界视频推到更高分辨率。本 catalog 中 runner 已验证——官方 cityscape 图像条件 demo 以「forward + camera_r」动作、12 次迭代、3 步推理、 704x1280、int8 量化、编译 VAE 与 mg_lightvae 解码器运行。

论文官方 Teaser:Matrix-Game 3.0 的交互世界模型论文配图。
论文官方 Teaser:Matrix-Game 3.0 的交互世界模型论文配图。
论文方法总览:Matrix-Game 3.0 的交互世界模型架构。
论文方法总览:Matrix-Game 3.0 的交互世界模型架构。

论文是 arXiv 2604.08995。项目页:matrix-game-v3.github.io。代码:SkyworkAI/Matrix-Game。

构建运行命令

推理 Pipeline
MatrixGame3Pipelineworldfoundry.pipelines.matrix_game.pipeline_matrix_game_3
任务Official Cityscape Image official-cityscape-image
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  matrix-game-3 \
  --pipeline.task-profile official-cityscape-image \
  --json

用来做什么

在 Matrix-Game 3 上滚交互世界。1、2.0 与 3.5 第一人称在兄弟卡片。

启动 worldfoundry-eval run matrix-game-3 --pipeline.task-profile official-cityscape-image。

评测入口:WorldModelBench(动作条件游戏世界滚动生成质量)。

运行时契约

必填 prompt、image;可选 video;actions:keyboard, mouse;产物 matrix-game-3.mp4。

默认旋钮:num_inference_steps=3,fps=17。

official-cityscape-image 记录默认值:num_inference_steps=3, fps=17。

在 WorldFoundry 中运行

状态:Runner 一致性待验证。统一环境 worldfoundry-unified-cu128(Python 3.11, CUDA 12.8)。先把 Skywork/Matrix-Game-3.0 就位到本地,缺文件加载失败,运行时不下载。在该环境执行 worldfoundry-eval run matrix-game-3 --pipeline.task-profile official-cityscape-image。catalog 未记录 VRAM。