---
title: MemoBench
description: "哈佛 / MIT 视觉记忆评测：360 条 V-D-R 片段，自动指标加 SAM-3 ORS 与 VQA。WorldFoundry 内置 Step 1，不编造榜单。"
---

MemoBench（哈佛，联合 MIT 与 MIT-IBM Watson AI Lab）用 Visible → Disappeared → Reappear 范式诊断世界生成器的 **视觉记忆**：目标可见且物理过程在进行（V），相机转开而过程在画外继续（D），相机回来后模型必须把物体生成在 **已更新** 的状态（R）。套件是 **360 条真值片段**（196 合成 + 164 真实），带相机轨迹与深度。

打分分三层：

- **Step 1 自动** — CLIP-IQA+ / LAION 美学、光流平滑、DINOv2 身份、几何一致性、相机可控、ImageReward、真值 PSNR/SSIM/LPIPS。
- **ORS** — SAM-3 Object Revisit Score。
- **VQA** — 指令跟随、物体/背景、记忆连续性、物理遵守（Gemini 或兼容 VLM）。

`memobench_average` 是已有归一化组件的均值。代码：[MemoBench-Team/MemoBench](https://github.com/MemoBench-Team/MemoBench)。

WorldFoundry **仓内内置 runtime**，可对 `--generated-synthetic-dir` / `--generated-real-dir` 跑 Step 1。ORS 与 VQA 仍是显式外部阶段。可导入官方 CSV（`eval_csv`、`ors_scores.csv`、VQA、`leaderboard.csv`）。

<BenchmarkPageSections id="memobench" locale="zh" />

## 如何运行

```bash
worldfoundry-eval zoo benchmark-run \
  --benchmark-id memobench \
  --mode official-validation \
  --official-results-path <official_results.csv> \
  --generated-artifact-dir <generated_frames> \
  --output-dir tmp/memobench/official-validation \
  --json
```

`--run-official` 执行仓内 Step 1（`--mode both|synthetic|real`）。V-D-R 边界会按生成视频帧数缩放。环境变量：`WORLDFOUNDRY_MEMOBENCH_RESULTS_PATH`、`WORLDFOUNDRY_MEMOBENCH_GENERATED_SYNTHETIC_DIR`、`WORLDFOUNDRY_MEMOBENCH_GENERATED_REAL_DIR`。共享栈：`video_quality_dino_motion_stack`。

仓内指针：`worldfoundry/data/benchmarks/tasks/external/memobench.yaml`，`worldfoundry/evaluation/tasks/execution/runners/memobench/runtime/memobench`。

产物包括 `scorecard.json`（主键 `memobench_average`），以及存在时的 `eval_csv`、`ors_scores.csv`、`leaderboard.csv`。

[← 返回 Benchmark Hub](/zh/docs/evaluation/benchmark-hub)