选择语言
< 返回主菜单

陈建宇团队提出一种新颖的DoReMi机器人规划决策框架和一款新型双腿轮足机器人Whleaper

2024-10-12

 图片

Innovation Highlights

1. 陈建宇团队提出一种新颖的DoReMi机器人规划决策框架,该框架可以及时检测上层计划和下层执行的不对齐现象,并从中快速恢复。该框架中,大语言模型被用来同时产生规划和约束条件,视觉语言模型用来及时检测任务执行中的约束条件。在有挑战性的机械臂和人型机器人任务中,该方法都有更高的成功率和执行效率。

2. 陈建宇团队清华本科生科创团队开发了一款新型双腿轮足机器人Whleaper。该机器人采用类人的关节设计,结合了足式机器人的灵活性与轮式机器人的高效性。其下肢拥有10个自由度(DOF),特别是每条腿的髋关节具备3个自由度,显著提升了机器人的稳定性、灵活性与适应性,使其在多种任务场景中展现出优异表现。

Achievements Summary

基于检测和恢复的大语言模型规划框架—DoReMi

       大语言模型涌现出对物理世界的认知和推理能力,非常适合帮助机器人完成上层规划。但是由于环境扰动和不完美的控制器,机器人的下层执行策略可能偏移语言模型的上层规划。

图片

图1. DoReMi框架概览


陈建宇团队探究了这个问题,提出一种新颖的框架来解决上层规划和执行不对齐的问题。基于语言模型的推理能力,在产生规划的同时,也让语言模型输出规划的约束。为了自动化地检测这些约束,团队使用视觉语言大模型统一地检测各种约束。同时为了让视觉语言模型更好适配不同机器人型号,团队使用少量数据对视觉语言模型进行微调,使得其回答更加准确。

图片

2. DoReMi使用LLM产生规划和约束,并用微调的视觉语言模型检测异常


在实验中,团队在仿真的机械臂环境,仿真的人型机器人环境都进行了大量实验,该框架展示了良好的恢复能力,能从各种异常中自动回复,例如可以自动从瘫倒的积木,掉落的物品等情况进行恢复,从而完成复杂的长时间域任务规划

图片

3. 丰富的实验环境:仿真机械臂、仿真人型环境,小星人型机器人硬件平台


DoReMi有潜力发展为通用的规划-执行框架。本论文共同第一作者包括上海期智研究院实习生、清华大学博士生郭彦江,上海期智研究院实习生、清华大学硕士生王彦仁(现加州伯克利大学博士生),清华大学本科生查理涵(现普林斯顿大学博士生),通讯作者为陈建宇助理教授


一款10自由度的高性能双腿轮足机器人—Whleaper

创新的双腿轮足机器人机械设计

       Whleaper的双腿轮足结构结合了足式机器人的灵活性和轮式机器人的高效性,既能够在复杂地形上展现出卓越的适应能力,同时在平坦地面上实现高效快速的移动。相比传统的轮式机器人,Whleaper具有更强的地形适应性,能够轻松越过障碍;而与纯足式机器人相比,其滑行模式则使得其在平坦地形上的速度和效率大幅提升。这种双模式的设计使得Whleaper不仅可以在多种环境中灵活自如地应对任务,还具备了执行复杂操作时的稳定性和可靠性。

        相比传统的轮足机器人,Whleaper的10自由度设计,尤其是每条腿的髋关节拥有3个自由度,不仅扩展了机器人的运动姿态范围,还改善了在各种地形下的足地接触,能够实现更为精确的运动控制

图片

图4. Whleaper机器人的整体结构和自由度配置


图片

图5. Whleaper机器人的腿部结构


高性能的双腿轮足机器人控制系统

Whleaper的硬件系统集成了高精度IMU传感器、10台高扭矩电机以及高速的CAN和EtherNet通讯架构,确保其在实时环境中能高效进行反馈控制。

图片

图6.Whleaper 控制系统的硬件架构


Whleaper的控制系统集成LQR和RL算法,分别针对滑行、平衡控制以及行走、跳跃等运动任务进行了专门优化。LQR主要用于提升行进过程中的平衡性,RL则扩展了机器人运动模式,使其能够更灵活地应对多种复杂任务

图片

图7. Whleaper 的控制框架


多模态运动实现

Whleaper具备出色的多模态运动能力,通过精细控制其10个自由度,能够灵活执行各种复杂的运动任务。对比实验结果表明,髋关节的高自由度设计显著提升了机器人的灵活性,使其在复杂场景中能够更高效地应对避障需求。

在实际场景中,Whleaper同样表现出色,能够顺利完成包括跨越障碍、快速转弯和避障滑行等动作,充分展示了其在多样任务和真实应用中的巨大潜力。该机器人专注于高自由度的结构设计及控制方法,也为双腿轮足机器人领域提供了新的发展思路。

图片

图8.  Whleaper 机器人在不同自由度下的仿真实验

图片

图9.  Whleaper 机器人在仿真与现实中的运动表现


本论文一作为清华大学博士生朱颖雷,清华大学本科生何思晓,通讯作者为陈建宇助理教授。共同作者为清华大学本科生齐政皓,雍卓远,秦一骅。


更多信息请阅读论文:


1. DoReMi: Grounding Language Model by Detecting and Recovering from Plan-Execution MisalignmentYanjiang Guo*, Yen-Jen Wang*, Lihan Zha*, Jianyu Chen †, https://sites.google.com/view/doremi-paper, IROS 2024.

2. Whleaper: A 10-DOF High-Performance Bipedal Wheeled Robot, Yinglei Zhu, Sixiao He, Zhenghao Qi, Zhuoyuan Yong, Yihua Qin, Jianyu Chen†, https://rasevents.org/presentation?id=146224, IROS 2024.