WorldFoundry
English中文

指标

树内 metric registry 与分布/感知类 compute API。

编辑此页GitHubMarkdown

本页内容
快速开始子页面相关页面

WorldFoundry 提供树内 metric 层——由 registry 管理的 scorer 与分布/感知 compute 例程，runner 通过稳定契约调用。Benchmark 决定在什么数据上测什么；metric 决定如何把预测变成数字。每条注册项声明输入、可选 checkpoint 依赖与输出形态；runner 引用 metric ID，registry 解析别名、校验可用性并路由到对应 compute_*，使模型代码不接触打分细节、打分却在跨机器时保持可复现。本 hub 只记录仓库实际实现了什么，并非已发表指标的综述。

树内目录按四个家族组织：scorer 与质量（CLIP、VQA、ITM、人脸、艺术、S2V judge）、分布（FID、IS、KID、FVD、JEDi、CMMD、Clean-FID）、感知成对（LPIPS、SSIM、DINO、mask、layout）、编辑与 layout（SemSR、IRS、CAS、manipulation）。依赖预训练 backbone 的 metric 显式声明依赖，缺失 checkpoint 时明确失败，绝不静默替换代理。第五页 Registry 与参考 说明发现方式（worldfoundry-eval metric list）、参数化 id、checkpoint 落盘与包结构。每个 benchmark 的 evaluator asset 与运行命令见 Benchmark Hub；各页会标注近似与须使用官方脚本而非通用 compute API 的情形。

快速开始

三步走：

  1. source WorldFoundry/tmp/worldfoundry_unified_env.sh 并 pip install -e ".[distribution_metrics]"
  2. worldfoundry-eval metric show <id> 确认 id / alias
  3. 打开下面对应子页面，复制示例代码运行

只有 built-in existing-results 能走 CLI；其余 metric 用 Python compute_* 或 Scorer 类。

Metric 模块保持 lazy import：只有实际加载 feature extractor、多模态 scorer 或 API judge 时才需要 checkpoint。默认 cache 沿用 Hugging Face / Torch / torchvision layout：

export WORLDFOUNDRY_HFD_ROOT=${HF_HOME:-$HOME/.cache/huggingface}
export WORLDFOUNDRY_T2V_METRICS_CACHE_DIR=$WORLDFOUNDRY_HFD_ROOT
export WORLDFOUNDRY_CKPT_DIR=$HOME/.cache/worldfoundry/checkpoints

子页面

  • 多模态 scorer 与质量 — CLIPScore、VQAScore、ITMScore、FaceScore、ArtScore、OpenS2V reward 指标。
  • 分布指标 — FID、IS、KID、FVD、JEDi、CMMD、Clean-FID 及特征数组类指标。
  • 感知成对 — LPIPS、SSIM、DINO 相似度、mask accuracy、layout quality。
  • 编辑与 layout — SemSR、IRS、CAS、编辑方向、object-wise consistency。
  • Registry 与参考 — MetricRegistry、已注册指标表、CLI、checkpoint、架构说明。

相关页面

  • 评测 — 运行契约、evaluate 与 scorecard 输出。
  • Benchmark Hub — 每个 benchmark 的 metric assets 与 evaluator 要求。
  • 本地资产准备 — checkpoint 落盘（含 FVD I3D 权重）。