欢迎使用 WorldFoundry

WorldFoundry

面向世界智能的通用基础设施

一条工作流

  • 模型发现、推理、检查与评测对齐同一套世界模型操作定义
  • TUI、CLI、Studio、Python 与 MCP 共享 request 与 artifact 契约
  • 申请 GPU 或下载权重前,可先查看 manifest、needs 与 blocker
  • 持久 artifact 支持后续 review、重新打分与证据复用
  • Python API 参考由源码签名与 docstring 自动生成

广覆盖、边界清晰

  • 275 个模型条目与 74 个可浏览的 benchmark,readiness 信号明确可见
  • 保留视频、3D/4D、交互世界与具身栈的原生 runtime
  • Benchmark 只评测输出,不接管模型加载
  • 生成与打分可按需拆到不同环境执行
  • Scorecard 记录 provenance、覆盖率、blocker 与结果能支撑何种声明
  • CLI 是集成状态与 next_action 的权威来源

WorldFoundry 是面向世界智能的开源基础设施。世界智能不能被压成单一的生成任务:系统需要从观察中推断结构化状态,预测状态如何演化,用任务相关的输出表达后果,并在交互中使用这些预测。视频生成、神经场景表征、4D 模型与具身策略各自覆盖其中一部分。

模型发现、runtime 与资产准备、推理、artifact 检查和 benchmark 证据走同一条工作流,覆盖这些家族——同时不被强迫接受同一种表征、任务或指标。

第一次运行

快速开始 的环境已经 source 之后,为 matrix-game-2 生成一份可检查的 artifact:

bash scripts/inference/prepare_model_infer.sh matrix-game-2 --download
worldfoundry-eval run matrix-game-2-universal-action-validation \
  --pipeline.task-profile official-universal-image

这次运行只支撑一个结论:这套配置产出了可检查的 artifact,并不等于某个 benchmark 已经跑完。日常命令用 worldfoundry-eval run。各层与清单见设计。

操作定义

视觉逼真度衡量的是观察质量,并不足以证明世界建模。一段照片级视频仍可能丢掉物体身份、违反动力学,或对干预没有因果响应。

因此,我们把生成式世界模型定义为一个学习得到的、由历史与控制条件化的潜在动力学系统。它推断并维护持久的环境状态,在内生动力学与外部干预下演化该状态,并吸收新的观察,使后续预测对刚刚发生的事情负责。

世界模型的操作定义:状态推断、前向仿真与交互响应,并由观察反馈闭合

定义能落地,是因为三件事必须耦合:

  1. 状态推断 — 从交互历史中估计任务相关的潜在状态。
  2. 前向仿真 — 在自主动力学、物理约束与动作下预测该状态如何演化。
  3. 交互响应 — 在不同干预下产生可区分且连贯的未来,再把观察到的结果写回所维护的状态。

一个与模态无关的紧凑形式是

zt∼q(zt∣ht),zt+1∼p(zt+1∣zt,ct),o^t+1∼g(ot+1∣zt+1).z_t \sim q(z_t \mid h_t),\qquad z_{t+1} \sim p(z_{t+1} \mid z_t, c_t),\qquad \hat{o}_{t+1} \sim g(o_{t+1} \mid z_{t+1}).

其中 hth_t 是观察–控制历史,ctc_t 是动作或干预(包括空控制),ztz_t 是推断出的环境状态,o^t+1\hat{o}_{t+1} 是视觉、几何或任务相关输出。这是功能抽象,不是架构断言:ztz_t 可以是循环的、物体中心的、几何的、token 化的,或其他结构化形式。

从同一推断状态出发,具有不同环境后果的控制应诱导出可区分但连贯的 rollout;干预范围之外的因素应继续服从同一条件动力学。新的观察必须更新此后使用的状态。

能力分层

WorldFoundry 并不给每个模型贴一个互斥等级,而是记录能力剖面:系统实际支持哪些功能,以及这些功能是否耦合。

从感知锚定到世界模型主轴(持久状态、动力学、闭环交互)的能力分层,可控变换作为正交能力
基础能力

感知锚定

解释、重建或合成观察。它为状态推断提供感知基础,但本身还不等于对环境的持久表征。

世界模型主轴

持久状态 → 动力学预测 → 交互反馈

  1. 持久状态

    从序列观察中推断并维护结构化环境状态,跟踪身份、几何、空间关系与部分可见条件下的属性。

  2. 动力学

    按物理与因果规律预测状态转移,使内生过程、动作与干预的后果在后续轨迹中持续约束预测。

  3. 闭环交互

    在同一环境中循环执行动作、观察与状态更新。反馈修正当前状态,再条件化下一步预测。

正交能力

可控变换

按指定控制改写表征中的内容,同时保持其余结构。它可以增强主轴上的任一阶段,但单独成立并不足以证明动力学或闭环交互。

感知锚定提供观察层证据。真正构成世界模型的是主轴上的耦合:持久状态、受干预条件化的动力学,以及由反馈驱动的更新。可控变换可以出现在任一阶段旁边——改沙发颜色或删掉书架,本身并不能证明系统能把场景向前推演,或闭合交互环。

基础生成模型与生成式世界模型

这是功能分类,不是视觉质量排名。

基础生成模型学习视觉、几何或时空先验,用于合成、重建与可控编辑。它们可以在外观、短时连贯或选择性编辑上很强,但没有把状态、动力学与反馈集成成完整的世界建模环。

生成式世界模型集成了这个环。干预效果会在后续转移中保持,新的观察会修正此后预测所依赖的状态。更高保真度、更宽的 prompt 或更大的规模,本身并不会把系统从第一类提升到第二类。

正因为如此,WorldFoundry 把 catalog 收录、可运行推理、可检查 artifact 与可进入 benchmark 的证据分开记录。一次好看的 demo 仍然可能只是感知锚定。当前覆盖范围和 readiness 以模型目录与评测中心为准。被 catalog 收录,不等于 runtime 能跑;demo 效果好,不等于已有 benchmark 证据;分数导入成功,也不等于官方 leaderboard 水平。这些状态分开记录,并保留 provenance。

为什么需要共享工作流

WorldFoundry 的价值出现在跨模型、跨 benchmark、跨界面的工作流里。技术报告把这一点表述为可通约而不均质化:异构系统应能在共享的运行与证据契约下被检查,而不被强迫接受同一种表征、任务或指标。

因此才需要这条共享工作流:

  • 统一的运行语义。 稳定的 model ID 与 benchmark ID,加上 request、result、artifact、manifest 与 scorecard,替代仓库昵称和手写路径。可以查证模型只是被收录还是真的执行过、用了哪个 checkpoint 与 runtime、sample 是否覆盖,以及分数是归一化、官方计算,还是已经过 leaderboard 校验。
  • 集成只做一次。 环境准备、checkpoint 查找、输入输出整理、job 记录、预览与 metric 汇总保持共享。模型差异留在 pipeline 与 operator,benchmark 差异留在 runner 与 metric。
  • 产物可复用。 生成结果不绑定于一次 UI 会话。同一批 artifact 可以检查、重新打分、转换、对照或审计,而不必再加载模型。
  • 记录比命令更完整。 checkpoint、依赖、dataset 或 evaluator 一变,同一条命令就可能不可比。ledger、身份、blocker 与 scorecard 同时说明实际跑了什么,以及该结果被允许主张什么。
  • 多入口,同一后端。 TUI、CLI、Studio、Python 与 MCP 共用 catalog 与契约。界面可以换,run 身份与持久输出保持一致。

这适合需要长期维护或比较多个世界模型家族、将生成与评测解耦、复用昂贵 artifact,或为人与 agent 提供稳定机器可读发现的团队。模型、benchmark、机器与 reviewer 越多,这些契约越划算。

WorldFoundry 统一世界模型发现、推理、检查与评测

致谢

WorldFoundry 集成并适配了上游世界模型、视频生成、感知、重建、具身动作与评测项目。每个 catalog 条目都会保留各自的来源与许可证元数据。

基础设施依赖