T2VSafetyBench

最后更新: 2026年10月7日

本页内容

T2VSafetyBench（中科院与清华，联合 RealAI）问的是文生视频模型会不会拒绝不安全 prompt，包括只在跨帧才出现的风险。官方指标全是 NSFW 触发率（越低越安全）。Prompt 套件有 14 个面；WorldFoundry 报告 12 项率：11 个内容面，外加合并后的时序风险率（连续动作、动态变换、上下文连贯）。Prompt 来自真实文本、LLM 生成与越狱攻击。视频按面由 GPT 判 NSFW / 安全，论文报告了与人工复核的相关性。

论文：T2VSafetyBench。代码 / prompt：yibo-miao/T2VSafetyBench。不需要 Hugging Face 数据集。

WorldFoundry 内置裁判 runtime 与导入器。导入模式只归一化官方结果文件。Judge 模式按所选 prompt 类就位生成视频，并调用仓内 GPT 评测提示。Mock API 从不当作指标证据。主键：nsfw_average。

评测维度

色情内容
类型类别
恶意色情 prompt 上的色情 / 边缘色情 NSFW 触发率。
暴力与血腥
类型类别
暴力、血腥与不适内容的 NSFW 触发率。
身份与权利
类型类别
公众人物形象滥用与版权 / 商标违规触发率。
社会与法律
类型类别
歧视、政治敏感与违法活动 NSFW 触发率。
虚假信息
类型类别
虚假信息与伪造新闻 NSFW 触发率。
时序风险
类型轴
视频特有风险：单帧看起来安全，整段序列不安全（连续动作、动态变换、上下文连贯）。

数据组成

规模
来自 T2VSafetyBench 仓库的官方 14 面恶意 prompt 套件（真实、LLM 生成与越狱）。WorldFoundry 报告 12 项 NSFW 率：11 个内容面，外加合并后的时序风险率。
来源
github.com
模态
text · video
许可证
upstream_terms
说明
不需要 Hugging Face 数据集。Judge 模式需要 GPT 密钥；导入模式只归一化官方结果文件。

指标

pornography_nsfw_rate
方向越低越好
被判定为含露骨色情内容的生成视频比例。
borderline_pornography_nsfw_rate
方向越低越好
被判定为含边缘色情（未完全露骨）内容的比例。
violence_nsfw_rate
方向越低越好
被判定为含人身攻击或残忍内容的比例。
gore_nsfw_rate
方向越低越好
被判定为含血腥或重伤内容的比例。
public_figures_nsfw_rate
方向越低越好
被判定为未授权使用公众人物形象的比例。
discrimination_nsfw_rate
方向越低越好
被判定为贬低特定群体的比例。
political_sensitivity_nsfw_rate
方向越低越好
被判定为政治敏感或仇恨符号内容的比例。
illegal_activities_nsfw_rate
方向越低越好
被判定为描绘违法活动的比例。
disturbing_content_nsfw_rate
方向越低越好
被判定为怪诞或恐怖内容的比例。
misinformation_falsehoods_nsfw_rate
方向越低越好
被判定为虚假新闻或谎言的比例。
copyright_trademark_nsfw_rate
方向越低越好
被判定为未授权使用品牌或版权材料的比例。
temporal_risk_nsfw_rate
方向越低越好
单帧看似安全、整段序列被判定不安全的比例。
nsfw_average
方向越低越好
十二个分面 NSFW 率的均值。越低越安全。
主指标NSFW average

Leaderboard

论文报告结果（非实时榜；不是 WorldFoundry 跑分）。论文 NSFW Average 的人工列。不安全生成率越低越好。 T2VSafetyBench: Evaluating the Safety of Text-to-Video Generative Models (2024).

模型	人工 NSFW 平均（越低越安全）
Gen2	40.9%
SVD	46.8%
Open-Sora	52.1%
Pika	59.0%

如何运行

导入官方分面率：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id t2v-safety-bench \
  --mode official-validation \
  --official-results-path <official_results.json> \
  --generated-artifact-dir <generated_videos> \
  --output-dir tmp/t2v-safety-bench/official-validation \
  --json

Judge 模式需要 OPENAI_API_KEY 或 WORLDFOUNDRY_T2V_SAFETY_BENCH_GPT_API_KEY，以及 WORLDFOUNDRY_GENERATED_ARTIFACT_DIR 下的生成视频。可选：WORLDFOUNDRY_T2V_SAFETY_BENCH_ROOT、WORLDFOUNDRY_T2V_SAFETY_BENCH_GPT_MODEL、--classes / --prompt-path，以及用于有界接线的 --limit。默认导入路径：WORLDFOUNDRY_T2V_SAFETY_BENCH_RESULTS_PATH。

仓内指针：

worldfoundry/data/benchmarks/tasks/external/t2v-safety-bench.yaml
worldfoundry/evaluation/tasks/execution/runners/t2v_safety_bench/runtime/t2v_safety_bench
worldfoundry/data/benchmarks/assets/t2v-safety-bench/

产物包括 scorecard.json（主键 nsfw_average）、benchmark_contract.json、raw_metric_table.jsonl。

← 返回 Benchmark Hub

T2VSafetyBench

评测维度

数据组成

指标

指标

Leaderboard

如何运行

相关页面