WorldFoundry
English中文

StarVLA

StarVLA

StarVLA：视觉-语言-动作（VLA）、wam；已验证; 2 个 variant。

编辑此页GitHubMarkdown

StarVLA 是乐高式模块化 VLA 框架；本 catalog 条目已 GPU 验证：官方 QwenOFT predict_action 在 80GB CUDA GPU 上以本地 Qwen3-VL-OFT-LIBERO-4in1 checkpoint 与 Qwen3-VL-4B 基座 VLM 运行。另有基于 Wan2.2 的 WM4A 世界-动作 checkpoint 已就位并通过张量/导入探针，但未被策略运行提升状态。

论文官方 Teaser：StarVLA 的机器人操作论文配图。
论文官方 Teaser：StarVLA 的机器人操作论文配图。

记录论文为arXiv 2604.05014。

项目页：starvla.github.io/contributors。代码：starVLA/starVLA。

构建运行命令

推理 Pipeline
StarVLAPipelineworldfoundry.pipelines.component_pipelines
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.evaluation.models.runners.pipeline:WorldFoundryPipelineRunner
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  starvla-qwen3-vl-oft-libero-4in1 \
  --pipeline.task-profile interactive-video \
  --json

变体

  • starvla-qwen3-vl-oft-libero-4in1
    状态Runner 一致性待确认

    vla.policy_rollout

    Runtime profilestarvla

    Pipeline bindingstarvla

  • starvla-wm4a-wan2d2-oft-libero-4in1
    状态Runner 一致性待确认

    wam.world_action_modeling

    Runtime profilestarvla

    Pipeline bindingstarvla

用来做什么

需要 catalog 上的 VLA 策略时选 starvla-qwen3-vl-oft-libero-4in1：指令与观测进、动作轨迹出。用来滚动已记录策略，不是用来训练新策略。

已验证路径为 QwenOFT：Qwen3-VL-4B 骨干配 OFT 式并行动作解码，单 checkpoint 微调四个 LIBERO 套件（4in1）。WM4A 变体将策略与 Wan2.2 世界模型耦合，目前仅探针级验证。

catalog 记录的任务包括 视觉-语言-动作（VLA）、wam、VLA 策略执行、wam.world_action_modeling。别名包括 Qwen3-VL-OFT-LIBERO-4in1、WM4A-Wan2d2-OFT-LIBERO-4in1。同系列还有 starvla-wm4a-wan2d2-oft-libero-4in1。

记录的评测入口包括LIBERO（4in1 checkpoint 覆盖四个 LIBERO 套件）。

运行时契约

可选 prompt、input_path、interactions、fps、checkpoint_dir；产物 action_trace、starvla_action_trace.json。

CLI task profile：interactive-video。绑定的 pipeline 类是 StarVLAPipeline。

起步 variant 是 starvla-qwen3-vl-oft-libero-4in1。catalog 登记了 2 个 variant（上方卡片）：starvla-qwen3-vl-oft-libero-4in1（vla.policy_rollout）：Runner 一致性待确认、starvla-wm4a-wan2d2-oft-libero-4in1（wam.world_action_modeling）：Runner 一致性待确认。系列状态：已验证。

LIBERO 评测用 QwenOFT 4in1 checkpoint；WM4A 视为已就位但未验证。 策略 checkpoint 需与 Qwen3-VL-4B-Instruct 基座一同就位。

WM4A 世界-动作路由未提升状态；仅 QwenOFT 通过 GPU 验证。

在 WorldFoundry 中运行

catalog 启动命令是 worldfoundry-eval run starvla-qwen3-vl-oft-libero-4in1 --pipeline.task-profile interactive-video。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128（Python 3.11，CUDA 12.8）。

记录的权重仓库包括 StarVLA/Qwen3-VL-OFT-LIBERO-4in1、StarVLA/WM4A-Wan2d2-OFT-LIBERO-4in1、Qwen/Qwen3-VL-4B-Instruct 等。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh starvla-qwen3-vl-oft-libero-4in1；下载缺失的公开权重时加 --download。

记录 license 为 mit；状态：已验证。