稚晖君后宇树也来玩开源了:机器人操作数据集

  西风发自凹非寺

  量子位公众号 QbitAI

  继稚晖君之后,国内又一家头部机器人公司玩起了开源!

  宇树科技,开源 Unitree G1 机器人操作数据集,包括数据采集、学习算法、数据集和模型,并表示将持续更新。

  更令网友意外的是,宇树基于抱抱脸 LeRobot 开源框架训练并测试。

  抱抱脸联合创始人兼 CEO 紧忙码住转发:

泰裤辣,LeRobot、huggingface 和开源技术在机器人领域日益突出。

  此套开源数据集目前包括拧瓶盖倒水:

  叠三色积木等 5 种操作:

  网友对于宇树这波开源纷纷竖起了大拇哥:

好哇好哇,希望更多公司能为机器人研究开源数据集。

  具体都开源了啥?

  具体来看,数据采集方面,目前使用苹果 Vision Pro 对 G1 进行遥操作控制的仓库,已超 400star:

  其中包含遥操作控制的代码教程:

  以及硬件配置图、物料清单和安装说明:

  训练方法如前所述,基于 lerobot:

  还有将前面遥操作采集的 JSON 格式数据转为 lerobot 所需格式的教程。

  最后就是数据集和模型,目前模型还显示“尚未公开”,数据集使用配备有三指灵巧手的宇树 G1 人形机器人收集,每张图分辨率为 640x480,每个手臂和灵巧手的状态和动作维度为7。

  包含五大操作数据集:

  除了开头所展示的拧瓶盖倒水、堆叠红、黄、绿三色木块,还有将摄像头放入相应包装盒、收集物品并存储、双臂抓取红色木块并将其放入一个黑色长方形容器中:

  宇树 G1 9.9 万元起,已量产

  最后再来简单介绍一下宇树 G1,量子位此前也有持续关注。

  今年 5 月份首次亮相,当时官方首先展示的就是它的手部以及操作能力。

  也是采用 3 指力控灵巧手,通过力位混合控制,能拧瓶盖、砸核桃,还能做焊接。

  在视觉传感器方面,搭载了 Intel RealSense D435 和 LIVOX-MID360 3D 激光雷达,能够实现 360°的探测感知。

  8 月份,宇树更是宣布 G1 可大规模量产了。

  基于端到端深度强化学习和仿真训练的技术路线,G1 可快速升级迭代。

  G1 量产版性能更强,能单腿跳跃:

  还能原地起跳 360 度转身:

  而且发售价 9.9 万起,让一众同行坐不住。

  如今伴随 G1 数据集开源,距离让机器人替我上班是不是又前进了一丢丢。

  参考链接:

  [1]https://x.com/unitreerobotics/status/1856273635461488867?s=46

  [2]https://github.com/unitreerobotics/avp_teleoperate/blob/g1/README_zh-CN.md

  [3]https://huggingface.co/unitreerobotics

  [4]https://github.com/unitreerobotics/unitree_IL_lerobot