光轮智能/EgoStandard
数据集
数据集查看器
文件和版本
Pull Requests
讨论

简体中文 | English

光轮智能

EgoStandard

90,000 小时头戴视角第一人称人类活动数据

所有数据在发布前均经过自动去标识化流程和人工复核,对人脸、车牌及其他个人身份信息进行模糊处理。

人类数据概览

CollectionData RepositoriesSKUSub-SKUFormatPlanned DurationWebsite
EgoSuite-Open100KEgoStandard
CURRENT DATASET
EgoPro
EgoDemo
EgoStandardEgoStand
EgoStand-body
LeRobot
MCAP
90,000 hoursEgoSuite Website

EgoSuite-Open100K 是一个分阶段发布的 100,000 小时开放数据集,旨在兼顾规模、多样性与标注质量。数据覆盖 15,000+ 项任务和 15,000+ 个不同采集场景,提供手部与全身位姿;部分数据包含腕部相机视角,并为选定子集免费附赠事件级语义标注。

EgoStandard 数据集摘要

EgoStandard 是 EgoSuite-Open100K 中规划时长 90,000 小时的头戴视角数据线,将第一人称视频与同步 3D 手部位姿以及可选的全身位姿相结合。数据合集覆盖 15,000+ 项任务和 15,000+ 个不同采集场景;这些是整个发布项目共享的合集级覆盖数据,并非每个仓库的独立计数。LeRobot 与 MCAP 是同一批 EgoStandard Episode 和相同 90,000 小时规划数据的不同表示形式,因此不得相加。

Sub-SKUs

Sub-SKUDurationStandard SKU definition
EgoStand80,000 hoursHead-view video + left/right hand pose
EgoStand-body10,000 hoursHead-view video + left/right hand pose + full-body pose

EgoStand 是面向大规模手部中心活动学习的高容量头戴视角变体。

EgoStand-body 增加全身位姿,用于关联手部交互与全身运动。

两个 EgoStandard Sub-SKU 均不包含腕部视角视频。

免费附赠语义标注

标准 EgoStandard 产品线包含左右手位姿,以及 EgoStand-body 中的全身位姿;语义标注不属于标准 SKU 定义。针对本次开源发布,光轮智能免费提供时序、事件级语义标注作为附加内容。

可用格式与 Episode 布局

FormatRecommended useLocationEpisode layoutDocumentation
LeRobot v3.0-compatibleTraining and LeRobot-compatible robotics pipelinesEgoStand/lerobot/, EgoStand-body/lerobot/Per-episode Parquet, video, LeRobot metadata, and release annotation filesSub-SKU README files
MCAPSynchronized multimodal streams and MCAP-compatible workflowsEgoStand/mcap/, EgoStand-body/mcap/Per-episode MCAP package and any verified sidecar filesSub-SKU README files

数据集结构

EgoStandard/
├── README.md
├── EgoStand/
│   ├── README.md
│   ├── lerobot/
│   ├── mcap/
│   └── manifests/
└── EgoStand-body/
    ├── README.md
    ├── lerobot/
    ├── mcap/
    └── manifests/

旧版 data/EgoStand/ 目录包含现有受保护数据,因此有意保留且不作修改。所有新增上传必须使用上述 Sub-SKU 优先路径。

标注模态

ModalityEgoStand standard SKUEgoStand-body standard SKUIncluded in this open-source release
Head-view egocentric videoYesYesYes
Left/right 3D hand poseYesYesYes
Full-body 3D poseNoYesBody variant only
Wrist-view videoNoNoNo
Semantic annotationsNoNoYes, complimentary add-on
Frame-quality metadataDelivery-dependentDelivery-dependentIncluded when available

位姿值采用 float32 类型和世界坐标。手部位置数组 shape 为 (21, 3),手部旋转为 (21, 4),全身位置为 (22, 3),全身旋转为 (22, 4)。四元数值遵循 (qw, qx, qy, qz) 顺序。

Manifest 数据结构

LeRobot 与 MCAP 是本次发布数据的不同表示。各格式 manifest 使用相同且稳定的 episode_uuid 和 sub_sku 值来标识对应 Episode。计算数据集规模时,用户不得将 LeRobot 与 MCAP 的行数相加。

通用 manifest 字段如下:

FieldDescription
episode_uuidStable episode identifier shared across formats
human_case_idStable Human Case identifier
skuAlways EgoStandard
sub_skuEgoStand or EgoStand-body
task_nameNormalized task name
scene_idAudited scene identifier
scene_familyTop-level scene family
duration_sAudited usable duration in seconds
episode_pathRepository-relative path for this format
formatlerobot-v3.0 or mcap
schema_versionFormat-specific schema/profile version
has_hand_poseWhether hand pose is present
has_body_poseWhether full-body pose is present
annotation_versionInternal schema identifier when the complimentary semantic annotation is present
annotation_distributioncomplimentary-open-source-add-on when applicable
source_revisionImmutable source revision
sha256Integrity checksum

各格式专属字段记录在对应格式的 README 中。

发布版本

Release itemValue
Dataset release version[VERIFY]
LeRobot formatv3.0-compatible
MCAP version/profile[VERIFY]
MCAP schema[VERIFY]
Converter version[VERIFY]
Semantic annotationsIncluded as a complimentary release add-on; internal version not exposed
Annotation distributionComplimentary open-source release add-on

按需下载

仅下载 LeRobot:

git clone https://ai.gitcode.com/Lightwheel/EgoStandard.git
cd EgoStandard
git lfs pull --include="EgoStand/lerobot/**,EgoStand-body/lerobot/**"

仅下载 MCAP 时,将包含路径替换为 EgoStand/mcap/**,EgoStand-body/mcap/**。