WorldFoundry
English中文

MolmoAct2

MolmoAct2

MolmoAct2（Allen Institute for AI (AI2)）：视觉-语言-动作（VLA）、VLA 动作预测；已验证; 5 个 variant。

编辑此页GitHubMarkdown

MolmoAct2 是 AI2 的第二代动作推理模型，Apache-2.0 checkpoint 阵容异常齐全：base、 Think（深度推理）、DROID（Franka）、双臂 YAM、SO100/101 与 LIBERO 变体均已确认。WorldFoundry 将官方 DROID/YAM predict_action 服务契约移植为树内 action_trace pipeline，无外部 checkout 依赖。

论文官方 Teaser：MolmoAct2 的机器人操作论文配图。
论文官方 Teaser：MolmoAct2 的机器人操作论文配图。

记录论文为arXiv 2605.02881。

代码：allenai/molmoact2。

构建运行命令

推理 Pipeline
MolmoAct2Pipelineworldfoundry.pipelines.component_pipelines
任务Interactive Video interactive-video
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.evaluation.models.runners.pipeline:WorldFoundryPipelineRunner
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  molmoact2-droid \
  --pipeline.task-profile interactive-video \
  --json

变体

  • molmoact2-droid
    状态仅静态加载

    vla.policy_rollout

    Runtime profilemolmoact2

    Pipeline bindingmolmoact2

  • molmoact2-bimanual-yam
    状态仅静态加载

    vla.policy_rollout

    Runtime profilemolmoact2

    Pipeline bindingmolmoact2

  • molmoact2-so100-101
    状态仅静态加载

    vla.policy_rollout

    Runtime profilemolmoact2

    Pipeline bindingmolmoact2

  • molmoact2-libero
    状态仅静态加载

    vla.policy_rollout

    Runtime profilemolmoact2

    Pipeline bindingmolmoact2

  • molmoact2-think-libero
    状态仅静态加载

    vla.policy_rollout

    Runtime profilemolmoact2

    Pipeline bindingmolmoact2

用来做什么

molmoact2-droid 是记录的指令到动作线。需要 WorldFoundry VLA rollout 而不是视频生成时从这里起步。

MolmoAct2 基于 Molmo 开放 VLM 线并加动作推理头；Think 变体在行动前增加基于深度的推理。已配置的 DROID、YAM、SO100、LIBERO 与 Think-LIBERO profile 暴露 checkpoint 驱动的 action_trace 路由。该模型由艾伦人工智能研究所（AI2）发布。

catalog 记录的任务包括 视觉-语言-动作（VLA）、VLA 动作预测、VLA 策略执行、机器人策略。别名包括 molmo-act2、molmoact、molmoact2-droid、molmoact2-yam。同系列还有 molmoact2-bimanual-yam、molmoact2-so100-101、molmoact2-libero。

记录的评测入口包括LIBERO（有专门的 LIBERO 与 Think-LIBERO checkpoint）。

运行时契约

可选 prompt、input_path、interactions、fps；产物 action_trace、molmoact2_action_trace.json。

CLI task profile：interactive-video。绑定的 pipeline 类是 MolmoAct2Pipeline。

起步 variant 是 molmoact2-droid。catalog 登记了 5 个 variant（上方卡片）：molmoact2-droid（vla.policy_rollout）：仅静态加载、molmoact2-bimanual-yam（vla.policy_rollout）：仅静态加载、molmoact2-so100-101（vla.policy_rollout）：仅静态加载、molmoact2-libero（vla.policy_rollout）：仅静态加载、molmoact2-think-libero（vla.policy_rollout）：仅静态加载。系列状态：已验证。

按本体选择 checkpoint：Franka 机械臂用 DROID，双臂 YAM 用 BimanualYAM，SO-ARM 用 SO100_101，仿真用 LIBERO/Think-LIBERO。 集成已通过静态验证。

仓库未记录 GPU rollout 验证（仅静态验证）。

在 WorldFoundry 中运行

启动 worldfoundry-eval run molmoact2-droid --pipeline.task-profile interactive-video 执行策略。上方命令构建器按已记录任务切换 --pipeline.task-profile，发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128（Python 3.11，CUDA 12.8）。

记录的权重仓库包括 allenai/MolmoAct2-DROID、allenai/MolmoAct2-BimanualYAM、allenai/MolmoAct2-SO100_101 等。准备环境并检查本地资产：bash scripts/inference/prepare_model_infer.sh molmoact2-droid；下载缺失的公开权重时加 --download。

记录 license 为 apache-2.0；状态：已验证。