2024-07-14
Innovation Highlights
陈建宇团队联合星动纪元在具身智能领域取得重要突破，提出了一种新颖的人形机器人学习算法框架DWL，有效去除真实世界噪声扰动，在全球范围内首次通过端到端RL和零样本仿真到真实转换，实现人形机器人通用适应各类复杂的现实世界地形。
Achievements Summary
现代环境设计主要围绕人类需求和能力，因此，具有类似人类骨骼结构的人形机器人特别适合在这种环境中作业。这类机器人在执行任务时展现出显著优势，尤其是在移动性方面。在复杂地形中的行走尤显其重要性。传统上，人形机器人步态的发展极大地依赖于模型控制技术，如零力矩点 (ZMP)、模型预测控制 (MPC)和全身控制 (WBC)，这些技术推动了机器人在行走、跳跃乃至后空翻等动作上的进步。然而，这些方法的效果往往受限于对环境动力学的精确建模，特别是在环境交互复杂的场景中，如穿越难行地形，控制复杂度增加。
图1：陈建宇助理教授研究组提出方法在真实世界的实验展示
与此相对，强化学习 (RL) 对环境建模的需求较低。近期在无模型RL领域的进展，显示了在创建普适性腿部运动控制器方面的巨大潜力。此方法使机器人能从多样环境中学习并适应，其性能常超过传统的基于模型的控制方法。尽管如此，与四足和双足机器人相比，实现鲁棒的人形机器人运动控制仍然具有巨大挑战。这些挑战包括但不限于较高的重心、摆动腿时的不稳定性、增加的腿部惯性、来自躯干和手臂的额外重量，以及通常更大的尺寸。目前，将RL应用于人形机器人在现实世界中的控制，研究仍局限于相对简单的地形。
图2：该工作所采用的人形机器人，分别为星动纪元的小星（XBot-S）及小星max（XBot-L）
为应对人形机器人控制领域的挑战，陈建宇助理教授的研究团队在之前开发的Humanoid-Gym平台基础上，进一步提出了去噪世界模型学习 (DWL) 技术，旨在优化人形机器人穿越多样化和复杂地形的能力。该技术已在星动纪元两种尺寸的人形机器人——小星 (XBot-S) 及小星max (XBot-L) 上进行了验证。DWL在全球范围内首次通过端到端RL和零样本仿真到真实转换，实现人形机器人通用适应各类复杂的现实世界地形。如图1所示，人形机器人能够在包括雪地倾斜面、楼梯和不规则表面等各种地形上稳定行走，同时抵抗重大外部干扰。在所有场景中，研究组使用的是同一个神经网络策略，展示了其鲁棒性和泛化能力。DWL的成功主要归功于其创新的表示学习框架，通过有效去噪，极大地缩小了仿真与现实之间的差距。此外，研究组还提出了一个主动2-自由度踝关节（闭环运动链踝机制）的控制方法，如图2所示，显著增强了机器人的鲁棒性。该工作获得了全体审稿人满分评价。本论共同第一作者为星动纪元的工程师谷心洋，上海期智研究院实习生、清华大学交叉信息研究院硕士生王彦仁、博士生朱翔，清华大学交叉信息研究院博士生施铖铭。
