SAGE-3D Collision Mesh: 面向3D高斯场景的物理碰撞体

论文 | 项目页面 | 代码

从1000个室内网格场景中提取的高精度碰撞几何数据集，可实现虚拟环境中的物理精确导航与交互。

在Isaac Sim 5.0中捕获的InteriorGS数据碰撞网格。

📢 新闻

• 2025年12月15日：发布SAGE-3D Collision Mesh数据集，包含1000个InteriorGS场景的碰撞体。

📋 概述

3D高斯溅射（3DGS）已成为实现照片级真实感场景渲染的强大表示方法。然而，其存在一个严重限制，使其无法应用于交互式应用：3DGS缺乏物理碰撞几何结构，导致具身智能体无法与环境进行真实交互。没有碰撞检测，智能体可能穿墙而过、悬浮在家具上方，或表现出其他不符合物理规律的行为。

为解决这一挑战，我们提出SAGE-3D Collision Mesh——一个从InteriorGS数据集提取的物理碰撞体综合数据集。该数据集提供：

• 554,000+个碰撞体，对应1000个室内场景中的物体实例
• 凸包分解，实现高效精确的碰撞检测
• USD格式，兼容现代物理仿真平台（Isaac Sim、Omniverse等）
• 与InteriorGS 3DGS场景紧密集成，实现视觉-物理无缝对齐

每个碰撞体均经过精心的凸包分解，在保证几何精度的同时确保计算效率。这使得：

实时碰撞检测——优化的凸包支持快速物理仿真
具身AI研究——支持操作、导航和交互任务
仿真到现实迁移——真实物理仿真缩小虚实差距

核心特性

🗂️ 数据集结构

Collision_Mesh/
├── 839873/                    # Scene-specific collision data
│   └── 839873_collision.usd   # Collision mesh in USD format
├── 839874/
│   └── 839874_collision.usd
├── 839875/
│   └── 839875_collision.usd
└── ...

💡 示例用法

本数据集提供 USD 格式的物理碰撞体，这对于在虚拟环境中实现物理精确的导航和交互至关重要。这些网格主要用于与 3D 高斯溅射（3DGS）场景（例如来自 spatialverse/SAGE-3D_InteriorGS_usdz）集成，以创建与 NVIDIA Isaac Sim 等物理仿真平台兼容的完整 USDA 场景文件。

1. 下载 SAGE-3D_Collision_Mesh 数据集

首先，使用 git lfs 克隆此数据集仓库：

git lfs install
git clone https://huggingface.co/datasets/spatialverse/SAGE-3D_Collision_Mesh

2. 准备 Isaac Sim 环境

完整的 SAGE-3D 项目（包括这些碰撞网格的使用）依赖于 NVIDIA Isaac Sim。有关设置 Isaac Sim（5.0+ 版本）的详细说明，请参考 SAGE-3D 官方 GitHub 仓库。

3. 构建包含碰撞数据的 USDA 场景文件

下载此碰撞网格数据集并获取 USDZ 场景文件（例如，从 spatialverse/SAGE-3D_InteriorGS_usdz 获取）后，您可以使用 SAGE-3D 官方仓库 中提供的 sage3d_usda_builder.py 脚本，将碰撞体集成到 USDA 场景文件中。

# Example command to build USDA Scene Files
python Code/benchmark/scene_data/sage3d_usda_builder.py \
    --usdz-dir /path/to/usdz \
    --out-dir /path/to/output/usda \
    --template Data/template.usda \
    --usdz-placeholder "@usdz_root[gauss.usda]@" \
    --collision-placeholder "@collision_root@" \
    --usdz-path-template "/path/to/usdz/{scene_id}.usdz[gauss.usda]" \
    --collision-path-template "/path/to/Collision_Mesh/{scene_id}/{scene_id}_collision.usd" \
    --overwrite

参数：

• --usdz-dir：包含 USDZ 场景文件的目录（例如，来自 spatialverse/SAGE-3D_InteriorGS_usdz）
• --out-dir：USDZ 文件的输出目录
• --template：USDZ 模板文件的路径（可在 SAGE-3D_Official GitHub 仓库 中找到）
• --usdz-placeholder：模板中 USDZ 引用的占位字符串（默认值：@usdz_root[gauss.usda]@）
• --collision-placeholder：模板中碰撞体 payload 的占位字符串（默认值：@collision_root@）
• --usdz-path-template：USDZ 引用路径的模板（使用 {scene_id} 作为占位符）
• --collision-path-template：碰撞体 payload 路径的模板（使用 {scene_id} 作为占位符以指向此数据集中的文件）
• --overwrite：覆盖现有 USDA 文件

🔗 相关数据集

此数据集是 SAGE-3D 项目的一部分：

1. InteriorGS：带有语义标注的源 3DGS 场景
   → spatialverse/InteriorGS

2. SAGE-3D InteriorGS USDZ：用于 Isaac Sim 的 USDZ 格式场景
   → spatialverse/SAGE-3D_InteriorGS_usdz

3. SAGE-3D Collision Mesh（本数据集）：支持物理的碰撞体
   → spatialverse/SAGE-3D_Collision_Mesh

4. SAGE-3D VLN Data：导航轨迹和指令
   → spatialverse/SAGE-3D_VLN_Data

📄 许可证

本数据集以 CC-BY-NC-4.0 许可证发布。

📜 引用

如果您在研究中使用了 SAGE-3D Collision Mesh，请引用我们的论文：

@misc{miao2025physicallyexecutable3dgaussian,
  title={Towards Physically Executable 3D Gaussian for Embodied Navigation}, 
  author={Bingchen Miao and Rong Wei and Zhiqi Ge and Xiaoquan Sun and Shiqi Gao and Jingzhe Zhu and Renhan Wang and Siliang Tang and Jun Xiao and Rui Tang and Juncheng Li},
  year={2025},
  eprint={2510.21307},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2510.21307}, 
}

也请引用 InteriorGS 数据集：

@misc{InteriorGS2025,
  title        = {InteriorGS: A 3D Gaussian Splatting Dataset of Semantically Labeled Indoor Scenes},
  author       = {SpatialVerse Research Team, Manycore Tech Inc.},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/datasets/spatialverse/InteriorGS}}
}