main

DOHC 头戴式第一视角全身数据集

DOHC 是一个头戴式多摄像头人体运动数据采集数据集，专为类人智能、具身 AI、全身运动理解和模仿学习而设计。

概述

DOHC 数据集源自 Delta Intelligence 开发的 DOHC 头戴式多摄像头人体运动捕捉系统。每个记录片段包含同步的多视角视频流以及全身骨骼/头戴设备位姿数据。

该数据集旨在支持以下领域的研发工作：

人类行为观察与理解
人体检测、关键点检测与姿态估计
头戴设备轨迹与运动分析
第一视角视觉观察与同步校验
类人机器人全身运动建模
模仿学习、行为克隆及具身智能模型训练
视觉惯性里程计/SLAM 相关观测分析

与纯第三人称数据集不同，DOHC 结合了第一视角 RGB/鱼眼视图与全局全身骨骼及头戴设备位姿状态，使其适用于在真实环境中从人类示范中学习。

头戴设备

头戴设备旨在从第一视角采集人体全身数据。

dohc

设备参数

参数	描述
处理器	瑞芯微 RK3588 级处理器
内存/存储	4GB + 32GB / 8GB + 64GB 配置
连接性	双频 Wi-Fi、蓝牙 5.3、Type-C 接口
音频	支持双麦克风及扬声器的音频采集
电池	7.4V 1000mAh
充电	专用充电底座
跟踪精度	全身系统空间定位精度约 2 cm 以内
数据类型	RGB 图像、IMU 数据、全身骨骼数据、麦克风音频、空间位姿轨迹

数据集结构

该数据集以 MCAP 文件格式分发，由两种源格式转换而来：经过处理的 H5 文件和 JPEG 会话文件夹。每个 MCAP 文件存储同步的图像流以及 /dohc/* 主题下的结构化 JSON 消息。

内容

划分	文件数	帧数
`h5`	6 个 MCAP 文件	1,238 帧
`jpeg`	13 个 MCAP 文件	5,248 帧

文件

.
├── h5/
│   └── *.mcap           # One MCAP per processed H5 file
├── jpeg/
│   └── *.mcap           # One MCAP per JPEG session folder
└── manifest.jsonl       # Source path, output path, frame count, and image counts per MCAP

h5/*.mcap：每个经过处理的 H5 源文件对应转换生成一个 MCAP 文件。
jpeg/*.mcap：每个 JPEG 会话文件夹对应转换生成一个 MCAP 文件。
manifest.jsonl：包含每个 MCAP 的源路径、输出路径、帧数以及图像数量。

MCAP 主题布局

每个 MCAP 包含以下 /dohc/* 主题的子集：

主题	编码	描述
`/dohc/metadata`	JSON	片段级元数据。通常每个 MCAP 包含一条消息。
`/dohc/state`	JSON	帧对齐的头显状态，包括位姿和运动信息。
`/dohc/skeleton`	JSON	帧对齐的全身骨骼数据。在提供的样本中，JPEG 会话 MCAP 中包含此主题。
`/dohc/cam0/jpeg`	JPEG	主前置 RGB 摄像头流。
`/dohc/cam1/jpeg`	JPEG	左前 RGB/广角摄像头流。
`/dohc/cam2/jpeg`	JPEG	右前 RGB/广角摄像头流。
`/dohc/t265_left/jpeg`	JPEG	左侧灰度追踪/鱼眼摄像头流。
`/dohc/t265_right/jpeg`	JPEG	右侧灰度追踪/鱼眼摄像头流。

片段模态

从概念上讲，每个片段提供以下内容：

视觉观测
- 主 RGB 视图：/dohc/cam0/jpeg
- 侧面 RGB/广角视图：/dohc/cam1/jpeg、/dohc/cam2/jpeg
- 追踪/鱼眼视图：/dohc/t265_left/jpeg、/dohc/t265_right/jpeg
结构化状态与标注数据
- 片段元数据：/dohc/metadata
- 头显位姿与运动状态：/dohc/state
- 全身骨骼：/dohc/skeleton（若可用）

视频流

所有图像流均以 JPEG 消息形式存储在 MCAP 主题中。以下主题名称与“片段模态”部分相对应。

`/dohc/cam0/jpeg` — 主 RGB 摄像头

cam0 是主前置 RGB 摄像头流。它通常用作人类观察、人体检测、关键点检测、姿态估计和动作分割的主要视觉输入。

字段	值
主题	`/dohc/cam0/jpeg`
类型	RGB
帧率	30 FPS
分辨率	1920 × 1080

典型用途：

人体动作可视化
人体检测与关键点检测
姿态估计算法输入
与 3D 骨骼数据的同步检查

摄像头参数：

Camera matrix:
[[283.936956,   0.      , 953.207147],
 [  0.      , 284.022358, 532.647632],
 [  0.      ,   0.      ,   1.      ]]

Distortion coefficients:
[-0.02257256, 0.00926648, -0.0111663, 0.00267249]

`/dohc/cam1/jpeg` / `/dohc/cam2/jpeg` — 左侧和右侧 RGB / 广角摄像头

cam1 和 cam2 分别为左前和右前 RGB / 广角摄像头流。它们为多视角人体观察和场景理解提供了额外的视角。

字段	值
话题	`/dohc/cam1/jpeg`, `/dohc/cam2/jpeg`
类型	RGB
帧率	30 FPS
分辨率	1280 × 720

典型用途：

补充主 RGB 摄像头
多视角人体检测
不同视角下的可见性检查
动作理解与后处理
第一人称多视角观察

`/dohc/t265_left/jpeg` / `/dohc/t265_right/jpeg` — 左侧和右侧追踪摄像头

t265_left 和 t265_right 是灰度鱼眼式追踪摄像头流。它们主要用于视觉里程计、SLAM 相关的视觉特征分析、头显运动观察以及同步检查。

字段	值
话题	`/dohc/t265_left/jpeg`, `/dohc/t265_right/jpeg`
类型	灰度
帧率	30 FPS
分辨率	848 × 800

典型用途：

VIO / SLAM 视觉特征分析
头显设备运动观察
与头显位姿数据的同步检查
鱼眼视觉后处理与调试

摄像头参数：

Camera matrix:
[[426.11546713,   0.        , 657.06272437],
 [  0.        , 427.85036814, 355.11072595],
 [  0.        ,   0.        ,   1.        ]]

Distortion coefficients:
[0.18449862, -0.13104704, 0.0027557, -0.00128653, -0.03698853]

骨骼与状态数据

DOHC 将全身骨骼和头显运动信息存储为 MCAP 话题，而非独立的 NPZ 文件。

话题	描述
`/dohc/metadata`	每段情节的元数据，包括来源信息和录制级属性
`/dohc/state`	头显状态，包括平移、旋转、速度、角速度和加速度
`/dohc/skeleton`	帧对齐的全身骨骼数据

`/dohc/skeleton` — 全身骨骼

骨骼话题提供帧对齐的 3D 全身关节位置，采用 24 关节 SMPL 风格布局。

字段	值
话题	`/dohc/skeleton`
骨骼布局	SMPL 风格 24 关节人体骨骼
坐标格式	3D 关节坐标 `[x, y, z]`
形状概念	`(frame_num, 24, 3)`
对齐方式	与图像话题帧对齐

关节顺序如下：

索引	关节名称
0	pelvis
1	left_hip
2	right_hip
3	spine1
4	left_knee
5	right_knee
6	spine2
7	left_ankle
8	right_ankle
9	spine3
10	left_foot
11	right_foot
12	neck
13	left_collar
14	right_collar
15	head
16	left_shoulder
17	right_shoulder
18	left_elbow
19	right_elbow
20	left_wrist
21	right_wrist
22	left_hand
23	right_hand

常见的骨骼连接：

SMPL_BONES = [
    (0, 1), (0, 2), (0, 3),
    (1, 4), (4, 7), (7, 10),
    (2, 5), (5, 8), (8, 11),
    (3, 6), (6, 9), (9, 12), (12, 15),
    (12, 13), (13, 16), (16, 18), (18, 20), (20, 22),
    (12, 14), (14, 17), (17, 19), (19, 21), (21, 23),
]

典型用法：

全身运动可视化
视频-骨骼同步检查
运动建模与运动预测
模仿学习与类人运动重定向

`/dohc/state` — 头显状态

状态话题描述头显在全局坐标系中的位姿和运动状态。

字段	形状概念	描述
`pose_translation`	`(frame_num, 3)`	头显全局平移 `[x, y, z]`
`pose_rotation`	`(frame_num, 4)`	头显全局旋转四元数 `[qx, qy, qz, qw]`
`pose_velocity`	`(frame_num, 3)`	头显线速度 `[vx, vy, vz]`
`pose_angular_velocity`	`(frame_num, 3)`	头显角速度 `[wx, wy, wz]`
`pose_acceleration`	`(frame_num, 3)`	头显线加速度 `[ax, ay, az]`

这些字段可用于头显轨迹分析、运动平滑性检查、传感器融合研究以及与图像和骨骼话题的对齐。

帧对齐

所有话题旨在通过帧索引或时间戳进行对齐：

/dohc/cam0/jpeg[f]
  <-> /dohc/cam1/jpeg[f]
  <-> /dohc/cam2/jpeg[f]
  <-> /dohc/t265_left/jpeg[f]
  <-> /dohc/t265_right/jpeg[f]
  <-> /dohc/skeleton[f]
  <-> /dohc/state[f]

联系方式

如您有任何问题、反馈或合作需求，请联系：

邮箱：sales@deltai.com

网站：www.deltai.com

微信公众号：

致谢

本数据集通过Delta Intelligence数据采集系统收集，该系统专为类人智能、具身AI及全身人体运动数据采集而设计。

main

DOHC 头戴式第一视角全身数据集

DOHC 是一个头戴式多摄像头人体运动数据采集数据集，专为类人智能、具身 AI、全身运动理解和模仿学习而设计。

概述

该数据集旨在支持以下领域的研发工作：

人类行为观察与理解
人体检测、关键点检测与姿态估计
头戴设备轨迹与运动分析
第一视角视觉观察与同步校验
类人机器人全身运动建模
模仿学习、行为克隆及具身智能模型训练
视觉惯性里程计/SLAM 相关观测分析

与纯第三人称数据集不同，DOHC 结合了第一视角 RGB/鱼眼视图与全局全身骨骼及头戴设备位姿状态，使其适用于在真实环境中从人类示范中学习。

头戴设备

头戴设备旨在从第一视角采集人体全身数据。

dohc

设备参数

参数	描述
处理器	瑞芯微 RK3588 级处理器
内存/存储	4GB + 32GB / 8GB + 64GB 配置
连接性	双频 Wi-Fi、蓝牙 5.3、Type-C 接口
音频	支持双麦克风及扬声器的音频采集
电池	7.4V 1000mAh
充电	专用充电底座
跟踪精度	全身系统空间定位精度约 2 cm 以内
数据类型	RGB 图像、IMU 数据、全身骨骼数据、麦克风音频、空间位姿轨迹

数据集结构

内容

划分	文件数	帧数
`h5`	6 个 MCAP 文件	1,238 帧
`jpeg`	13 个 MCAP 文件	5,248 帧

文件

.
├── h5/
│   └── *.mcap           # One MCAP per processed H5 file
├── jpeg/
│   └── *.mcap           # One MCAP per JPEG session folder
└── manifest.jsonl       # Source path, output path, frame count, and image counts per MCAP

h5/*.mcap：每个经过处理的 H5 源文件对应转换生成一个 MCAP 文件。
jpeg/*.mcap：每个 JPEG 会话文件夹对应转换生成一个 MCAP 文件。
manifest.jsonl：包含每个 MCAP 的源路径、输出路径、帧数以及图像数量。

MCAP 主题布局

每个 MCAP 包含以下 /dohc/* 主题的子集：

主题	编码	描述
`/dohc/metadata`	JSON	片段级元数据。通常每个 MCAP 包含一条消息。
`/dohc/state`	JSON	帧对齐的头显状态，包括位姿和运动信息。
`/dohc/skeleton`	JSON	帧对齐的全身骨骼数据。在提供的样本中，JPEG 会话 MCAP 中包含此主题。
`/dohc/cam0/jpeg`	JPEG	主前置 RGB 摄像头流。
`/dohc/cam1/jpeg`	JPEG	左前 RGB/广角摄像头流。
`/dohc/cam2/jpeg`	JPEG	右前 RGB/广角摄像头流。
`/dohc/t265_left/jpeg`	JPEG	左侧灰度追踪/鱼眼摄像头流。
`/dohc/t265_right/jpeg`	JPEG	右侧灰度追踪/鱼眼摄像头流。

片段模态

从概念上讲，每个片段提供以下内容：

视觉观测
- 主 RGB 视图：/dohc/cam0/jpeg
- 侧面 RGB/广角视图：/dohc/cam1/jpeg、/dohc/cam2/jpeg
- 追踪/鱼眼视图：/dohc/t265_left/jpeg、/dohc/t265_right/jpeg
结构化状态与标注数据
- 片段元数据：/dohc/metadata
- 头显位姿与运动状态：/dohc/state
- 全身骨骼：/dohc/skeleton（若可用）

视频流

所有图像流均以 JPEG 消息形式存储在 MCAP 主题中。以下主题名称与“片段模态”部分相对应。

`/dohc/cam0/jpeg` — 主 RGB 摄像头

cam0 是主前置 RGB 摄像头流。它通常用作人类观察、人体检测、关键点检测、姿态估计和动作分割的主要视觉输入。

字段	值
主题	`/dohc/cam0/jpeg`
类型	RGB
帧率	30 FPS
分辨率	1920 × 1080

典型用途：

人体动作可视化
人体检测与关键点检测
姿态估计算法输入
与 3D 骨骼数据的同步检查

摄像头参数：

Camera matrix:
[[283.936956,   0.      , 953.207147],
 [  0.      , 284.022358, 532.647632],
 [  0.      ,   0.      ,   1.      ]]

Distortion coefficients:
[-0.02257256, 0.00926648, -0.0111663, 0.00267249]

`/dohc/cam1/jpeg` / `/dohc/cam2/jpeg` — 左侧和右侧 RGB / 广角摄像头

cam1 和 cam2 分别为左前和右前 RGB / 广角摄像头流。它们为多视角人体观察和场景理解提供了额外的视角。

字段	值
话题	`/dohc/cam1/jpeg`, `/dohc/cam2/jpeg`
类型	RGB
帧率	30 FPS
分辨率	1280 × 720

典型用途：

补充主 RGB 摄像头
多视角人体检测
不同视角下的可见性检查
动作理解与后处理
第一人称多视角观察

`/dohc/t265_left/jpeg` / `/dohc/t265_right/jpeg` — 左侧和右侧追踪摄像头

t265_left 和 t265_right 是灰度鱼眼式追踪摄像头流。它们主要用于视觉里程计、SLAM 相关的视觉特征分析、头显运动观察以及同步检查。

字段	值
话题	`/dohc/t265_left/jpeg`, `/dohc/t265_right/jpeg`
类型	灰度
帧率	30 FPS
分辨率	848 × 800

典型用途：

VIO / SLAM 视觉特征分析
头显设备运动观察
与头显位姿数据的同步检查
鱼眼视觉后处理与调试

摄像头参数：

Camera matrix:
[[426.11546713,   0.        , 657.06272437],
 [  0.        , 427.85036814, 355.11072595],
 [  0.        ,   0.        ,   1.        ]]

Distortion coefficients:
[0.18449862, -0.13104704, 0.0027557, -0.00128653, -0.03698853]

骨骼与状态数据

DOHC 将全身骨骼和头显运动信息存储为 MCAP 话题，而非独立的 NPZ 文件。

话题	描述
`/dohc/metadata`	每段情节的元数据，包括来源信息和录制级属性
`/dohc/state`	头显状态，包括平移、旋转、速度、角速度和加速度
`/dohc/skeleton`	帧对齐的全身骨骼数据

`/dohc/skeleton` — 全身骨骼

骨骼话题提供帧对齐的 3D 全身关节位置，采用 24 关节 SMPL 风格布局。

字段	值
话题	`/dohc/skeleton`
骨骼布局	SMPL 风格 24 关节人体骨骼
坐标格式	3D 关节坐标 `[x, y, z]`
形状概念	`(frame_num, 24, 3)`
对齐方式	与图像话题帧对齐

关节顺序如下：

索引	关节名称
0	pelvis
1	left_hip
2	right_hip
3	spine1
4	left_knee
5	right_knee
6	spine2
7	left_ankle
8	right_ankle
9	spine3
10	left_foot
11	right_foot
12	neck
13	left_collar
14	right_collar
15	head
16	left_shoulder
17	right_shoulder
18	left_elbow
19	right_elbow
20	left_wrist
21	right_wrist
22	left_hand
23	right_hand

常见的骨骼连接：

SMPL_BONES = [
    (0, 1), (0, 2), (0, 3),
    (1, 4), (4, 7), (7, 10),
    (2, 5), (5, 8), (8, 11),
    (3, 6), (6, 9), (9, 12), (12, 15),
    (12, 13), (13, 16), (16, 18), (18, 20), (20, 22),
    (12, 14), (14, 17), (17, 19), (19, 21), (21, 23),
]

典型用法：

全身运动可视化
视频-骨骼同步检查
运动建模与运动预测
模仿学习与类人运动重定向

`/dohc/state` — 头显状态

状态话题描述头显在全局坐标系中的位姿和运动状态。

字段	形状概念	描述
`pose_translation`	`(frame_num, 3)`	头显全局平移 `[x, y, z]`
`pose_rotation`	`(frame_num, 4)`	头显全局旋转四元数 `[qx, qy, qz, qw]`
`pose_velocity`	`(frame_num, 3)`	头显线速度 `[vx, vy, vz]`
`pose_angular_velocity`	`(frame_num, 3)`	头显角速度 `[wx, wy, wz]`
`pose_acceleration`	`(frame_num, 3)`	头显线加速度 `[ax, ay, az]`

这些字段可用于头显轨迹分析、运动平滑性检查、传感器融合研究以及与图像和骨骼话题的对齐。

帧对齐

所有话题旨在通过帧索引或时间戳进行对齐：

/dohc/cam0/jpeg[f]
  <-> /dohc/cam1/jpeg[f]
  <-> /dohc/cam2/jpeg[f]
  <-> /dohc/t265_left/jpeg[f]
  <-> /dohc/t265_right/jpeg[f]
  <-> /dohc/skeleton[f]
  <-> /dohc/state[f]

联系方式

如您有任何问题、反馈或合作需求，请联系：

邮箱：sales@deltai.com

网站：www.deltai.com

微信公众号：

致谢

本数据集通过Delta Intelligence数据采集系统收集，该系统专为类人智能、具身AI及全身人体运动数据采集而设计。

DOHC 头戴式第一视角全身数据集

概述

头戴设备

设备参数

数据集结构

内容

文件

MCAP 主题布局

片段模态

视频流

/dohc/cam0/jpeg — 主 RGB 摄像头

/dohc/cam1/jpeg / /dohc/cam2/jpeg — 左侧和右侧 RGB / 广角摄像头

/dohc/t265_left/jpeg / /dohc/t265_right/jpeg — 左侧和右侧追踪摄像头

骨骼与状态数据

/dohc/skeleton — 全身骨骼

/dohc/state — 头显状态

帧对齐

联系方式

致谢

DOHC 头戴式第一视角全身数据集

概述

头戴设备

设备参数

数据集结构

内容

文件

MCAP 主题布局

片段模态

视频流

/dohc/cam0/jpeg — 主 RGB 摄像头

/dohc/cam1/jpeg / /dohc/cam2/jpeg — 左侧和右侧 RGB / 广角摄像头

/dohc/t265_left/jpeg / /dohc/t265_right/jpeg — 左侧和右侧追踪摄像头

骨骼与状态数据

/dohc/skeleton — 全身骨骼

/dohc/state — 头显状态

帧对齐

联系方式

致谢

`/dohc/cam0/jpeg` — 主 RGB 摄像头

`/dohc/cam1/jpeg` / `/dohc/cam2/jpeg` — 左侧和右侧 RGB / 广角摄像头

`/dohc/t265_left/jpeg` / `/dohc/t265_right/jpeg` — 左侧和右侧追踪摄像头

`/dohc/skeleton` — 全身骨骼

`/dohc/state` — 头显状态

`/dohc/cam0/jpeg` — 主 RGB 摄像头

`/dohc/cam1/jpeg` / `/dohc/cam2/jpeg` — 左侧和右侧 RGB / 广角摄像头

`/dohc/t265_left/jpeg` / `/dohc/t265_right/jpeg` — 左侧和右侧追踪摄像头

`/dohc/skeleton` — 全身骨骼

`/dohc/state` — 头显状态