SpatialLadder

SpatialLadder:多模态推理、空间推理;Runner 一致性待确认。

SpatialLadder 是专精空间推理的 3B 多模态模型——回答图像与视频中空间关系相关的问题。catalog 记录其多模态/空间推理与图像/视频问答任务,产物为 model_response;权重位于 hongxingli/SpatialLadder-3B。

本 docs 树没有入库的官方 teaser 或方法图。

代码:hongxingli/SpatialLadder-3B。

构建运行命令

推理 Pipeline
SpatialLadderPipelineworldfoundry.pipelines.video_official.pipeline_official_video
任务
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  spatial-ladder \
  --pipeline.task-profile multimodal-reasoning \
  --json

用来做什么

用 spatial-ladder 做本卡的多模态推理。

3B 参数的视觉-语言模型;其名称所暗示的阶梯式(渐进空间推理)训练设计见上游说明,发表机构与内部细节仓库未记录。

catalog 记录的任务包括 多模态推理、空间推理、图像问答、视频问答。别名包括 spatial_ladder、hongxingli/SpatialLadder-3B。

运行时契约

可选 prompt、image、video、seed、frames;产物 spatial-ladder.json。

CLI task profile:multimodal-reasoning、spatial-reasoning、image-question-answering、video-question-answering、video_generation。绑定的 pipeline 类是 SpatialLadderPipeline。

系列状态:Runner 一致性待确认。

可作为生成场景的轻量空间问答评审;3B 规模在一般 GPU 上即可运行。

Checkpoint 属于外部资产——权重缺失时会在运行时报告,而不会自动下载。

在 WorldFoundry 中运行

catalog 启动命令是 worldfoundry-eval run spatial-ladder --pipeline.task-profile multimodal-reasoning。上方命令构建器按已记录任务切换 --pipeline.task-profile,发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128(Python 3.11,CUDA 12.8)。

记录的权重仓库包括 hongxingli/SpatialLadder-3B。准备环境并检查本地资产:bash scripts/inference/prepare_model_infer.sh spatial-ladder;下载缺失的公开权重时加 --download。

状态:Runner 一致性待确认。