Depth Any Panoramas

论文方法总览:DAP 的三阶段流程——场景不变标注、真实感过滤,再在伪标注全景数据上训练。

Depth Any Panoramas(Insta360 (Research Team)):米制深度估计、几何先验;已验证。

Depth Any Panoramas(DAP)是影石 Insta360 面向全景图像的米制深度估计器——从单张等距柱状投影图得到完整 360° 深度。本 catalog 中它是已验证的几何先验:runner parity 已通过共享 geometry-prior 契约验证,权重位于 Insta360-Research/DAP-weights。

论文官方 Teaser:360° RGB 全景与预测度量深度成对展示,并与其他全景深度模型作雷达图对比。
论文官方 Teaser:360° RGB 全景与预测度量深度成对展示,并与其他全景深度模型作雷达图对比。
论文方法总览:DAP 的三阶段流程——场景不变标注、真实感过滤,再在伪标注全景数据上训练。
论文方法总览:DAP 的三阶段流程——场景不变标注、真实感过滤,再在伪标注全景数据上训练。

记录论文为arXiv 2512.16913。

项目页:insta360-research-team.github.io/DAP_website。代码:Insta360-Research-Team/DAP。

骨干是 DINOv3-Large,解码器是 DPT 风格。稠密米制深度头配一个即插即用的 range-mask 头,用来标出超出可信距离的像素(卡片里讨论 10 / 20 / 50 / 100 m 等阈值)。论文的零样本数字报告在 Stanford2D3D、Matterport3D 与 Deep360 上——那是上游数字,不是 WorldFoundry scorecard。

构建运行命令

推理 Pipeline
DAPPipelineworldfoundry.pipelines.geometry_priors.pipeline_geometry_priors
任务Default default
环境worldfoundry-unified-cu128
设备CUDA 12.8
Runnerworldfoundry.pipeline
加载方式from_pretrained
调用方式native_or_standard_invocation
worldfoundry-eval run \
  dap \
  --pipeline.task-profile default \
  --json

用来做什么

做前馈几何时选 dap:视图进、重建/轨迹/点云出。需要 catalog 的 3D 路由、而不是仅深度先验时用它。

基于 Depth-Anything 系主干,适配全景输入与米制输出。它位于 base_models/three_dimensions/depth 下作为独立先验;ViPE 从该规范位置导入。除已记录结构外的细节仓库未存。该模型由影石 Insta360(研究团队)发布。

catalog 记录的任务包括 panoramic-depth-estimation、米制深度估计、几何先验。别名包括 depth-any-panoramas、insta360-dap。模态上,它接受图像,输出深度。

喂一张等距柱状 image,得到 dap-depth.npz。别名 depth-any-panoramas、insta360-dap 解析到这里。上层管线(如 ViPE)应从这一规范位置导入,而不是各自留一份私有副本。普通针孔照片请改用 Depth Anything V2/V3 先验。

运行时契约

可选 input_path、input_size、execute、max_points、focal_length;产物 dap-depth.npz。

CLI task profile:default。绑定的 pipeline 类是 DAPPipeline。

系列状态:已验证。

它作为独立几何先验集成在 worldfoundry/base_models 下,通过共享的 geometry-prior pipeline/operator 契约对外暴露。 上层管线(如 ViPE)从这一规范位置导入它,而不是各自保留私有副本。

专为全景设计:普通针孔图像请改用 Depth Anything V2/V3 先验。

在 WorldFoundry 中运行

catalog 启动命令是 worldfoundry-eval run dap --pipeline.task-profile default。上方命令构建器按已记录任务切换 --pipeline.task-profile,发出的仍是 worldfoundry-eval run。

运行环境是统一 profile worldfoundry-unified-cu128(Python 3.11,CUDA 12.8)。

记录的权重仓库包括 Insta360-Research/DAP-weights。准备环境并检查本地资产:bash scripts/inference/prepare_model_infer.sh dap;下载缺失的公开权重时加 --download。

状态:已验证。