面向具身智能模型训练的开放仿真任务数据集
Simulation Training for Embodied Intelligence
LoongRobo Simulation Task Training Dataset 是基于 CloudRobo 仿真环境生产并开放的具身智能机器人操作训练数据集,面向具身智能模型的训练、微调与算法研究。
数据集以仿真机器人操作任务为核心,通过构建不同机器人本体、仿真环境和任务场景,生成机器人执行任务过程中的操作轨迹数据,为具身智能模型提供规模化、标准化的仿真训练数据。
目前数据集覆盖多种机器人本体、仿真环境和操作任务,包括机械臂、人形机器人及双臂协同任务等,支持开发者围绕抓取、放置、物体分类、双臂交接、精细操作等任务开展模型训练和能力研究。
数据集由 CloudRobo 生产并开源发布,可结合仿真环境用于具身智能模型的训练与验证,并进一步衔接 LoongRobo 模型评测体系。
具身智能模型的训练高度依赖机器人操作数据,但数据采集通常受到机器人硬件、场景搭建、采集成本和实验周期等因素限制,而仿真环境能够提供更加灵活、可控和规模化的数据生产方式。
LoongRobo Simulation Task Training Dataset 基于 CloudRobo 仿真环境构建,通过在不同机器人本体和仿真场景中执行标准化任务,生成机器人操作轨迹数据。
数据集重点面向模型训练场景,为开发者提供从:仿真环境→机器人本体→任务配置→机器人执行→操作轨迹采集→数据整理→模型训练 的完整数据基础。与真实场景数据相比,仿真数据具有环境可控、任务可重复、数据规模易扩展等特点,可以降低模型训练阶段的数据获取成本,并支持开发者快速开展模型迭代,同时支持不同机器人本体和任务之间的组合,为研究具身智能模型的跨机器人、跨任务和泛化能力提供仿真数据基础。
当前数据集覆盖多种机器人本体,包括机械臂、人形机器人以及双臂机器人等,包括 Spirit AI Moz1、Flexiv RIZON、Franka Emika Panda、Universal Robots UR5e、SO-ARM101、JAKA、Qinglong 等不同机器人平台。
不同机器人本体具有不同的自由度、结构和运动特性,可以用于研究模型在不同机器人平台上的任务执行能力。
数据集依托 CloudRobo 仿真环境生产,当前包含 46 个仿真环境,覆盖办公区、餐厅、茶水间、公寓、儿童房、教室、酒店大厅、咖啡店等不同场景。
多样化的仿真环境能够为模型提供更加丰富的任务背景和环境变化。
数据集覆盖多种机器人操作任务,包括:
物体抓取 物体放置 物体分类 双臂交接 精细操作 物体插入 物体搬运 其他机器人操作任务
当前已开放 18 个仿真操作类任务,覆盖二维码旋转、物体分类、双臂交接、插笔入笔筒以及物体放置等任务。
数据集以机器人在仿真环境中的实际执行过程为基础,生成机器人操作轨迹数据。
其中包括面向不同机器人本体和任务的仿真操作轨迹数据集,例如:
SO101_Place_Pen_Holder_V21-SIM-DATASET MANI-SIM-DATASETS Jaka_Place_Block_Into_Tray-SIM-DATASET SO101_Place_Pen_Holder-SIM-DATASET R1_Handover_Red_Plug_Right_Left-SIM-DATASET
其中,MANI-SIM-DATASETS 覆盖星海图 R1、千寻 Moz1、青龙等多种本体,包含 120+ 任务、50K+ 条数据。
仿真环境中的机器人、场景和任务可以进行组合,为模型训练提供可扩展的数据生产基础。
开发者可以基于不同机器人本体、任务和环境开展模型训练,并进一步扩展新的仿真任务和数据。
数据集主要包含 机器人本体、仿真环境、任务以及机器人操作轨迹数据。
| Robot | Description |
|---|---|
| Spirit AI Moz1 | 面向具身智能研究与仿生操作学习的高自由度机器人平台 |
| Flexiv RIZON 4S | 柔性智能机器人平台 |
| Flexiv RIZON 4 | 柔性智能机器人平台 |
| Huayan Elfin E03 | 协作机器人平台 |
| Huayan HY | 机器人操作平台 |
| Siasun GCR3 618 | 工业协作机器人 |
| Franka Emika Panda | 面向机器人研究的机械臂平台 |
| Universal Robots UR5e | 协作机器人平台 |
| SO-ARM101 | 面向模仿学习与机器人教育的开源机械臂 |
| JAKA | 国产协作机器人平台 |
| Qinglong | OpenLoong 开源人形机器人公版机 |
| 其他机器人资产 | CloudRobo 仿真环境中的其他机器人模型 |
当前包含 46 个仿真环境,主要分布于:
办公区 餐厅 茶水间 公寓 儿童房 教室 酒店大厅 咖啡店 厨房 客厅
开发者可以使用本数据集开展:
具身智能模型训练 VLA 模型训练与微调 机器人操作策略学习 模仿学习 双臂协同研究 跨机器人模型研究 仿真数据生成 Sim-to-Real 相关研究
建议在使用数据集进行模型训练时,结合具体数据集说明和对应机器人、任务配置进行实验。
数据集不仅服务于模型训练,也可以作为模型开发与评测流程中的训练数据基础。
推荐的开发流程为:
仿真训练数据 ↓ 模型训练 / 微调 ↓ 仿真任务验证 ↓ 提交 LoongRobo Model Arena ↓ Benchmark 评测 ↓ 模型能力对比 ↓ 持续优化
如果你已经基于本数据集训练了具身智能模型,欢迎进一步参与 LoongRobo Model Arena:https://www.openloong.org.cn/cn/loongrobo , 通过标准化 Benchmark 验证模型能力。
欢迎开发者、高校、科研机构和机器人企业共同完善仿真训练数据生态。
你可以贡献:
新的仿真任务 新的机器人本体 新的仿真环境 新的操作轨迹数据 新的训练数据生成方案 模型训练 Baseline 数据处理与转换工具
如有数据集使用、数据共建、模型训练或社区共建相关问题,欢迎通过以下方式联系我们:
本项目采用 [apache-2.0] 开源协议。
具体使用、修改、复制和再发布规则请参考仓库中的 LICENSE 文件。
Simulation → Training → Evaluation → Improvement
为具身智能模型提供可规模化的机器人任务训练数据。
Train in Simulation. Build for the Real World.