iWorld-Bench

iWorld-Bench（清华，联合东北大学与华南理工；ICML 2026）评的是 交互式 世界模型——能响应外部动作序列的生成器。统一的 Action Generation Framework 桥接文本动作、相机矩阵与轨迹。发布从 330k 片段筛到 2.1k 高质量样本，再定义 六类任务 / 4.9k 测试样本，覆盖视觉生成、轨迹跟随与记忆（例如内容离镜再入镜的 memory_symmetry）。

iworldbench_average 是已有分面的均值。许可证：Apache-2.0。

项目：iworld-bench.com。代码：EmbodiedCity/iWorld-Bench。数据：EmbodiedCity/iWorld-Bench-Dataset。

WorldFoundry 封装官方指标 runtime 并归一化报告 CSV/JSON。目录记录的有界命令用 --metric memory（仅像素记忆，不编译 ViPE）。完整官方 GPU 执行需要数据集元数据、VBench 资产，以及兼容 CUDA 的 ViPE 构建——仓内 ViPE 树缺少原生扩展源码。

评测维度

• 视觉生成

  类型轴

  帧质量、亮度、色温、清晰度、运动平滑。

• 轨迹跟随

  类型轴

  相对指令动作/相机的 trajectory_accuracy、trajectory_tolerance、trajectory_alignment。

• 记忆

  类型轴

  内容离镜再入镜的 memory_symmetry。有界已验证指标：memory。

数据组成

• 规模

  ICML 2026 交互式世界模型评测。33 万片段筛到 2100 样本；六类任务 / 4900 测试样本，覆盖视觉生成、轨迹跟随与记忆。Apache-2.0。

• 来源

  github.com

• 模态

  video · action · camera

• 许可证

  Apache-2.0

• 说明

  已验证有界范围是一次真实 16 帧官方 memory_ability 运行。全套需要 VBench 资产与 CUDA ViPE 构建。

指标

指标

• image_quality

  方向越高越好

  生成视频的帧级画质。

• brightness_consistency

  方向越高越好

  生成帧间的亮度稳定性。

• color_temperature_constraint

  方向越高越好

  场景约束下的色温稳定性。

• sharpness_retention

  方向越高越好

  rollout 全程的清晰度保持。

• motion_smoothness

  方向越高越好

  时序运动平滑度。

• trajectory_accuracy

  方向越高越好

  执行轨迹相对指令动作的准确度。

• trajectory_tolerance

  方向越高越好

  带容差带的轨迹跟随得分。

• memory_symmetry

  方向越高越好

  出画再入画内容的一致性。

• trajectory_alignment

  方向越高越好

  生成相机轨迹与指令轨迹的对齐度。

• iworldbench_average

  方向越高越好

  可用 iWorld-Bench 指标族的均值。

  主指标iWorld-Bench Average

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 iworld-bench.com.

如何运行

hf download EmbodiedCity/iWorld-Bench-Dataset --repo-type dataset \
  --revision 530c48cd3d8e9bb20ed685a96521c3a9b68cf6d2 \
  --local-dir "${WORLDFOUNDRY_IWORLD_BENCH_DATASET_ROOT}"

${WORLDFOUNDRY_UNIFIED_PYTHON} \
  worldfoundry/evaluation/tasks/execution/runners/iworldbench/run_iworldbench_official_runner.py \
  --run-official \
  --generated-videos-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --metric memory \
  --output-dir tmp/iworld-bench/memory \
  --json

--split 选择任务划分。--official-results-path 导入已有报告。环境变量：WORLDFOUNDRY_IWORLD_BENCH_DATASET_ROOT、WORLDFOUNDRY_IWORLD_BENCH_RESULTS_PATH、WORLDFOUNDRY_IWORLD_BENCH_RUNTIME_BACKEND。WORLDFOUNDRY_IWORLD_BENCH_PYTHON 是可选的兼容 Python 覆盖，不是单独环境要求。

仓内指针：worldfoundry/data/benchmarks/tasks/external/iworld-bench.yaml。数据布局：dataset/all_pack/metadata.csv、camera_following_metadata.csv、assets/。

产物包括 scorecard.json（主键 iworldbench_average）与 raw_metric_table.jsonl。

← 返回 Benchmark Hub