MemoBench

最后更新: 2026年10月7日

本页内容

MemoBench（哈佛，联合 MIT 与 MIT-IBM Watson AI Lab）用 Visible → Disappeared → Reappear 范式诊断世界生成器的 视觉记忆：目标可见且物理过程在进行（V），相机转开而过程在画外继续（D），相机回来后模型必须把物体生成在 已更新 的状态（R）。套件是 360 条真值片段（196 合成 + 164 真实），带相机轨迹与深度。

打分分三层：

Step 1 自动 — CLIP-IQA+ / LAION 美学、光流平滑、DINOv2 身份、几何一致性、相机可控、ImageReward、真值 PSNR/SSIM/LPIPS。
ORS — SAM-3 Object Revisit Score。
VQA — 指令跟随、物体/背景、记忆连续性、物理遵守（Gemini 或兼容 VLM）。

memobench_average 是已有归一化组件的均值。代码：MemoBench-Team/MemoBench。

WorldFoundry 仓内内置 runtime，可对 --generated-synthetic-dir / --generated-real-dir 跑 Step 1。ORS 与 VQA 仍是显式外部阶段。可导入官方 CSV（eval_csv、ors_scores.csv、VQA、leaderboard.csv）。

评测维度

合成套件
类型划分
196 条合成 V-D-R 片段，带相机轨迹与深度。
真实套件
类型划分
164 条真实 V-D-R 片段。
Step 1 自动
类型赛道
CLIP-IQA+/LAION、光流、DINOv2、几何、相机、ImageReward、真值 PSNR/SSIM/LPIPS。
物体回访分
类型赛道
SAM-3 ORS；显式外部阶段。
VQA 支柱
类型赛道
Gemini 或兼容 VLM；指令、物体/背景、记忆连续、物理。

数据组成

规模
哈佛 / MIT 视觉记忆评测：360 条真值片段（196 合成 + 164 真实），Visible → Disappeared → Reappear。
来源
github.com
划分
synthetic · real
模态
text · image · frames · video
许可证
MIT
说明
WorldFoundry 内置 Step 1。ORS 与 VQA 仍在外部。只跑 Step 1 不是完整套件。

指标

visual_quality
方向越高越好
全视频的 CLIP-IQA+ 与 LAION 美学质量。
motion_smoothness
方向越高越好
可见与重现阶段上的光流时序连贯性。
object_identity_consistency
方向越高越好
物体重现后的 DINOv2 物体中心身份一致性。
geo3d_consistency
方向越高越好
可见与重现阶段间基于深度的几何一致性。
camera_controllability
方向越高越好
生成相机运动与目标相机运动的对齐度。
image_reward_score
方向越高越好
ImageReward 路径给出的人类偏好对齐得分。
object_revisit_score
方向越高越好
目标物体重现的 SAM-3 文本提示检测得分。
gt_all_psnr
方向越高越好
所有阶段相对真值帧的 PSNR。
gt_all_ssim
方向越高越好
所有阶段相对真值帧的 SSIM。
gt_all_lpips
方向越低越好
所有阶段相对真值帧的 LPIPS；越低越好。
instruction_following
方向越高越好
指定相机运动与事件执行的 VQA 通过率。
object_background
方向越高越好
物体身份与背景一致性的 VQA 通过率。
continuity_of_memory
方向越高越好
目标物体出画期间状态保持的 VQA 通过率。
physics_adherence
方向越高越好
光照、阴影与运动合理性的 VQA 通过率。
memobench_average
方向越高越好
可用归一化 MemoBench 组件指标的均值。
主指标MemoBench Average

Leaderboard

官方实时榜，嵌在本页。不是 WorldFoundry 跑分。 memobench-team.github.io.

memobench-team.github.io · 实时打开实时榜

如何运行

worldfoundry-eval zoo benchmark-run \
  --benchmark-id memobench \
  --mode official-validation \
  --official-results-path <official_results.csv> \
  --generated-artifact-dir <generated_frames> \
  --output-dir tmp/memobench/official-validation \
  --json

--run-official 执行仓内 Step 1（--mode both|synthetic|real）。V-D-R 边界会按生成视频帧数缩放。环境变量：WORLDFOUNDRY_MEMOBENCH_RESULTS_PATH、WORLDFOUNDRY_MEMOBENCH_GENERATED_SYNTHETIC_DIR、WORLDFOUNDRY_MEMOBENCH_GENERATED_REAL_DIR。共享栈：video_quality_dino_motion_stack。

仓内指针：worldfoundry/data/benchmarks/tasks/external/memobench.yaml，worldfoundry/evaluation/tasks/execution/runners/memobench/runtime/memobench。

产物包括 scorecard.json（主键 memobench_average），以及存在时的 eval_csv、ors_scores.csv、leaderboard.csv。

← 返回 Benchmark Hub

MemoBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面