机器人成了我的遛弯搭子!室外复杂地形难不住,还能上“健身房”

  别光只看 Figure 02 了,国产机器人最新成果曝光,大秀肌肉!

  就在北京亦庄,竟有这么一家人形机器人“健身房”。

  这里的机器人率先实现在跑步机上训练,一小时能跑 6km的那种:

  而这只是热身,跑完还要爬楼梯:

  到了室外,机器人专用道也安排上了,30 度高温下不能停:

  时不时还要来点草坪、斜坡等复杂地形上难度:

  它就是今年四月份在国内首发的纯电驱全尺寸人形机器人天工,由北京具身智能机器人创新中心研发。

  刚问世那会儿,天工主打的还是拟人奔跑,短短几个月,本事又长了不少。

  除了上面所展示的在跑步机上奔跑、户外复杂地形行走,天工现在还加持了大模型,可中英文对话,还能听从人类指令抓取物品。

  最近,2024 世界机器人大会就要举办了,量子位提前打听到,整合“不只”这些能力,进化版“天工”将在大会上亮相。

  而且到时候天工会换“马甲”,装上手,还会升级大关节

  关于进化版天工的能力,我们和其运动控制负责人郭宜劼聊了聊。

  全身 42 个自由度,大模型加持

  升级后的天工功能参数一览如下:

  和之前相比如下表,身高 163cm,体重由原来的 43kg 增加到了 56kg。

  全身自由度增加到了 42 个,相比之前单只手臂自由度由 3 个增加到 7 个,颈部也增加了 3 个自由度。

  △初代天工功能参数

  此前天工“没有手”,这次也装上了。单只手重达 600g,具有 6 个自由度,触觉传感器精度在 0.3N 以内,单指的抓握力大于 1kg。

  而且天工还配备了四个全场景双目结构光 3D 相机、高精度六维力传感器,可实现 360 度环境感知。

  通过对环境的感知,天工能适应复杂地形,在草地、沙地、丘陵、碎石里移动,应对 30cm 的地形差也不是问题。

  奔跑起来稳定性也提升了,速度可达 6km/h。

  除此外,天工的另一大升级是搭载了大模型,具备了多模态操作能力

  现在能开口说话和人类交互,支持中英文。

  还能听从人类指令抓取物品:

  【此处无法插入视频,遗憾……可到量子位公众号查看~】

  而这些只是其中的一部分,世界机器人大会上还会有更多展示和惊喜。

  天工首秀那会儿,主打拟人奔跑单项能力。从目前的进化版来看,结合了感知交互,可以说,天工已经初步形成了具身智能体形态。

  研究具身智能规划决策和任务执行,也正是天工背后团队目前的关注重点。

  打造具身智能体

  以具身智能为基础,目前在技术实现上,研究团队重点提升了天工的视觉感知能力。

  之前天工行走是“盲视”状态,需要用脚掌对地面进行试探,而现在基于视觉感知,面对较大地形差,天工可以通过提前预测做出抬高腿等动作来应对。

  具体方法上,团队基于强化学习,自研了运动技能学习方法——基于状态记忆的预测型强化模仿学习

  此前量子位也有介绍,该方法融合了传统方法平稳性高的优点,以及强化学习泛化性强、不依赖环境的优点。

  既解决了强化学习带来的定位精度差的问题,又解决了模型预测控制方法当中对于非结构化环境适应性差的问题。

  天工运动控制负责人郭宜劼也向量子位透露,之前团队在训练时发现,一些网络在实际运行过程中可能会很容易受传感器漂移的干扰,有时会表现出姿态的不稳定等情况,由此提出了这种方法。

  初代天工发布后,团队在接下来的几个月的训练中,为天工加入了更多的历史状态记忆,使其能够对当前的自身状态和环境地形进行估计,从而有更好的泛化效果。

  郭宜劼还表示,目前具身智能要解决的是“Action”任务规划执行这方面的问题。

无论从任务种类还是复杂度上来说,让它能够覆盖人类日常工作生活中大部分的任务。它能干的活种类变多,大脑再去配合起来就能够实现更复杂、更长线的任务。

  对于实现复杂任务规划,他分享了几条技术路线:

  像是特斯拉机器人,主要采用的是收集数据,然后用数据进行监督学习,针对比较单一固定的场景训练机器人自动执行。这种方法虽收效比较快,但泛化能力差一些。

  还有一种是在仿真环境中进行强化学习训练,主要依赖的是在一个环境中进行不断地试错,自我学习。这种方法遇到的主要问题是,怎样从仿真环境迁移到真实的物理场景中。从感知层面到和具体的物理交互,仿真和真实场景都有很大的差别。

  另外一种方法是直接用大模型输出一些任务点,然后用传统的运动规划去执行这些任务。

  而天工研发团队的方案是将不同的方法融合,下一步要打造出一个元技能库

现在这个阶段我觉得是要扩大机器人的技能库……包括这几种方法在内,每一种方法都可以用来解决不同的任务场景。所以说技能库里每种技能可能是使用不同的方式来实现的。

  解决国内机器人“共性”问题

  再来说说天工背后公司,量子位此前也有介绍过。

  北京具身智能机器人创新中心(下称创新中心),原名北京人形机器人创新中心,去年 11 月成立,由小米机器人、优必选、京城机电、亦庄机器人等联合组建。

  他们瞄准的是解决具身智能机器人的关键共性问题,避免国内机器人行业重复简单造轮子的过程。

  创新中心聚集了一批顶尖科学家和工程师,还牵头成立了创新中心专家委员会和北京人形机器人产业联盟。

  创新中心专家委员会由中国科学院院士乔红担任主任,通用研究院院长朱松纯、智源研究院理事长黄铁军、信通院总工程师魏然担任副主任。

  今年四月份,创新中心推出了“天工”通用机器人母平台,即具身智能硬件开源平台。

  “天工”平台可实现灵活扩展软、硬件等功能模块,提供了一系列开放接口,科研机构及机器人相关企业可基于“天工”母平台软硬件功能进行二次开发。

  当时他们就预告了将着眼于依靠大模型驱动,探索通用具身智能平台。而现在多能具身智能体母平台“开物”,也逐渐浮出水面,正紧锣密鼓研发中。

  “开物”平台着眼于具身智能大模型及框架,聚焦多模态的关键法、具身智能仿真应用建设及工具链整套体系建设。

  围绕“开物”,团队正在打造大规模具身智能数据集,用来支撑超 70 亿参数视觉语言多模态大模型训练调优,实现机器人中文互动、开放问答、场景视觉理解、具身操作等能力。

  计划是,在 2025 年底前发布200 万条高质量数据

  话说回来,最近人形机器人领域有不少新进展传出。

  优必选透露人形机器人已在极氪工厂打工;特斯拉官图显示 Optimus 已进厂挑拣电池;OpenAI 加持的机器人 Figure 02,进驻宝马打工……

  虽然“天工”和它们不是一个赛道,主要是解决具身智能的共性问题,但……也没能逃过搬砖的命运。

  据了解,它正初步在一些场景中进行数据采集试训,比如重复性比较高、枯燥乏味的搬运分拣物品,在危险场景如矿井、工地进行巡检、搜救……

  2024 世界机器人大会马上将于8 月 21 日在北京经济技术开发区开幕,期待进化版“天工”的家人们可以码住了,听说创新中心会有一个精彩的展位,可以看到“天工”机器人家族的集体亮相,还会办一个分论坛~

  One More Thing

  为啥要让机器人在跑步机上跑?大伙儿猜猜看(doge)。

  答:除了对平衡性要求更高外,跑步机速度可控,能够比较准确客观测试;机器人跑步实验需要占用比较大的场地,跑步机省地方啊。