Splatt3R

论文方法总览:Splatt3R 的视频生成架构。

Splatt3R(University of Oxford (Active Vision Lab)):3D 重建、高斯泼溅;已验证。

Splatt3R 直接从未标定的图像对预测 3D 高斯泼溅场景——零样本、无需相机参数、无需逐场景优化。本 catalog 中它已完整验证:checkpoint 加载的 GPU 推理从内置官方风格视图产出含 344,064 个高斯的有限 PLY,证据记录在 inference_evidence.yaml。

论文方法总览:Splatt3R 的视频生成架构。
论文方法总览:Splatt3R 的视频生成架构。

记录论文为Splatt3R: Zero-shot Gaussian Splatting from Uncalibrated Image Pairs(2024)。

项目页:splatt3r.active.vision。代码:btsmart/splatt3r。

构建运行命令

推理 Pipeline
Splatt3RPipelineworldfoundry.pipelines.component_pipelines
任务Default default
环境worldfoundry-unified-cu128
设备CUDA 11.3
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  splatt3r \
  --pipeline.task-profile default \
  --json

用来做什么

splatt3r 是记录的重建线。从记录的视图写出几何时从这里起步。

按论文(arXiv 2408.13912),Splatt3R 在 MASt3R 的双视图几何主干上增加高斯参数头。 WorldFoundry 将运行时放在 base_models/three_dimensions/general_3d/splatt3r/splatt3r_runtime,并从规范兄弟路径导入 MASt3R/DUSt3R;打包的运行时仅含推理(训练加载器与 demo 代码已裁剪)。该模型由牛津大学(Active Vision Lab)发布。

catalog 记录的任务包括 3D 重建、高斯泼溅。别名包括 splattr、splatt3r-official。

运行时契约

可选 input_path、interactions;产物 splatt3r.ply。

CLI task profile:default。绑定的 pipeline 类是 Splatt3RPipeline。

系列状态:已验证。

Splatt3RSynthesis 在进程内加载树内运行时,输出 PLY 高斯泼溅产物。 checkpoint 保持为外部资产(brandonsmart/splatt3r_v1.0)——运行前请先就位。

双视图输入:大场景需要多对图像并在外部合并。

在 WorldFoundry 中运行

catalog 启动命令是 worldfoundry-eval run splatt3r --pipeline.task-profile default。上方命令构建器按已记录任务切换 --pipeline.task-profile,发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128(Python 3.11,CUDA 11.3)。

记录的权重仓库包括 brandonsmart/splatt3r_v1.0。准备环境并检查本地资产:bash scripts/inference/prepare_model_infer.sh splatt3r;下载缺失的公开权重时加 --download。

状态:已验证。