弋力

上海期智研究院PI，清华大学交叉信息研究院助理教授。

于斯坦福大学取得博士学位，导师为Leonidas J. Guibas教授，毕业后在谷歌研究院任研究科学家，与Thomas Funkhouser教授密切合作。此前在清华大学电子工程系取得了学士学位。研究兴趣涵盖3D感知，计算机图形学和具身人工智能，研究目标是使机器人代理具备理解3D世界并与之互动的能力。在CVPR，ICCV，ECCV，NeurIPS，SIGGRAPH，SIGGRAPH Asia等顶级会议发表二十余篇论文，并担任CVPR 2022领域主席。工作在领域内得到广泛关注，引用数达7500+，代表作品包括ShapeNet，光谱图CNN，PointNet++等。他创立并领导了三维视觉计算与机器智能实验室(3D VIsual Computing and machine Intelligence，简称3DVICI Lab)。该实验室致力于解决人工智能领域最前沿的通用三维视觉和具身交互问题，旨在使智能机器人具备理解三维世界并与之互动的能力。

高维计算机视觉：基于三维、四维等高维视觉数据的世界模型构建与开放世界理解

以人为中心的具身智能环境仿真：数字人智能交互行为仿真与以人为中心的具身智能仿真学习平台构建

人机交互： 基于多模态驱动的机器人与人交互任务规划与技能学习

成果8：仅从二维图像中学习开放词汇点云的三维目标检测—ImOV3D（2024年度）

       在三维视觉领域，开放词汇三维目标检测正受到越来越多的关注。该任务旨在推理阶段时，可以检测到那些在训练阶段未出现的物体类别。在现实世界的动态环境中，目标类别不断出现和变化，这种能力至关重要。尽管开放词汇三维目标检测取得了一定进展，但该领域的三维数据和标注资源仍然稀缺,限制了模型处理新颖目标的能力。

成果7：通过准物理模拟器来解决复杂灵巧操作迁移问题—QuasiSim（2024年度）

       提升具身智能体与世界交互的能力是实现通用人工智能的重要一步。由于设置真实机器人在真实世界中进行反复试验的成本高昂且存在潜在危险，开发具身算法的标准方法一般是先在物理模拟器中学习，然后通过模拟到真实的技术迁移到真实世界。在大多数情况下，物理模拟器被视为黑匣子，人们已经投入了大量精力来开发这些黑匣子中具身技能的学习和优化方法。尽管取得了长足的进步， 但很少讨论所使用的模拟器是否最合适的问题。

论文信息：QuasiSim: Quasi-Physical Simulators for Dexterous Manipulations Transfer, Xueyi Liu, Kangbo Lyu, Jieqiong Zhang, Tao Du, Li Yi†, https://meowuu7.github.io/QuasiSim/, ECCV 2024.

------------------------------------------------------------------------------------------------------------------------------

成果6：创建首个大规模双手协作双物体的数据集—TACO（2024年度）

1）TACO数据集涵盖了日常生活中人们用双手使用工具完成任务的动作，将手物交互行为刻画成<工具-动作-使用对象>的交互三元组。提供了丰富的工具使用和物体操作的多样性，支持在测试时对未见物体几何形状和新的行为三元组进行泛化。涵盖了5.2M张来自第一和第三人称视角的彩色图片、2.5K段交互动作、131种“工具-动作-使用对象”的组合和196种物体形状。TACO关注数据内容包含第一和第三人称视角下的彩色视频、手和物体的三维网格序列、手和物体的二维掩码以及去除标志点的图片。

成果5：自监督学习&多模态数据融合 —CrossVideo & TEG-Track（2024年度）

       弋力团队在机器人视觉与触觉感知领域研究中取得重要进展，通过自监督学习和多模态数据融合来提升机器人对环境的理解和交互能力，在ICRA 2024上发表2项成果。提出了一种自监督的跨模态对比学习方法CrossVideo，通过模态内和跨模态的对比学习技术，提高点云视频理解的性能。团队提出了一种触觉增强的6D姿态跟踪系统TEG-Track，用于跟踪手中持有的未见过的物体。该方法在合成和真实世界场景中均能一致性地提升最先进的通用6D姿态跟踪器的性能。相关成果可运用推广到机器人导航、增强现实、自动化驾驶等领域。

论文信息：CrossVideo: Self-supervised Cross-modal Contrastive Learning  for Point Cloud Video Understanding，Yunze Liu, Changxi Chen, Zifan Wang, Li Yi，https://arxiv.org/abs/2401.09057

论文信息：CrossVideo: Self-supervised Cross-modal Contrastive Learning  for Point Cloud Video Understanding，Yun Liu*, Xiaomeng Xu*, Weihang Chen, Haocheng Yuan, He Wang, Jing Xu, Rui Chen, Li Yi，https://github.com/leolyliu/TEG-Track

------------------------------------------------------------------------------------------------------------------------------

成果4：多模态大模型框架DREAMLLM&

通用泛化的手物交互算法GeneOH Diffusion（2024年度）

       弋力团队提出了多模态大型语言学习框架DREAMLLM，首次实现了兼具多模态内容创作和理解的功能且相互促进的通用多模态大模型，并且是第一个原始数据级的完全自回归多模态大模型。该工作由弋力团队与清华大学马恺声老师团队合作完成。

       该团队还提出了一套通用泛化的手物交互去噪算法GeneOH Diffusion，用于处理手-物交互（HOI）中的去噪问题。该方法通过创新的基于接触的HOI表示GeneOH和一个新的领域泛化去噪方案来解决复杂的交互噪声问题。GeneOH Diffusion在多个基准测试中展示了其优越的有效性和泛化能力，对各种下游应用也显示出了潜力。

论文信息：DreamLLM: Synergistic Multimodal Comprehension and Creation，Runpei Dong*, Cunrui Han*, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi，https://dreamllm.github.io/

论文信息：GeneOH Diffusion: Towards Generalizable Hand-Object Interaction Denoising via Denoising Diffusion. Xueyi Liu, Li Yi，https://meowuu7.github.io/GeneOH-Diffusion/

------------------------------------------------------------------------------------------------------------------------------

成果3：从可扩展的仿真、示例生成中模仿学习通用人机交接（2023年度）

       在以人为中心的具身智能研究中，通用人机交接(Generalizable Human-to-Robot Handover)是一个关键的技能，它使机器人能够更好地与人类合作。受大数据+大算力所驱动的大模型启发，弋力团队验证了“海量高质量数据+大规模模仿学习”走向通用智能的方式，提出了GenH2R框架，分别从仿真、示例生成、模仿学习三个角度出发，让机器人第一次基于端到端的方式学习对任意抓取方式、任意交接轨迹、任意物体几何的通用交接。GenH2R模拟了百万级别人在不同交接任务中的行为，使得在虚拟场景中的技能学习成为可能。为了解决示例数据稀缺的问题，同时保证示例数据对于技能学习的有效性，GenH2R以视觉观测与行动的相关性作为核心优化目标提出了一套动态抓取与运动规划方法，自动生成大规模示例数据，使得通过简单的模仿学习就可以获取通用的人机交接技能。相比于之前最优的人机交接方法，GenH2R的方法在各种测试集上平均成功率提升14%，时间上缩短13%，并在真机实验中取得更加鲁棒的效果。

       研究领域：基于高维视觉的可泛化人机协作

       项目网站：https://GenH2R.github.io 

       研究论文：Zifan Wang*, Junyu Chen*, Ziqing Chen, Pengwei Xie, Rui Chen, Li Yi. GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation. In submission. 查看PDF

------------------------------------------------------------------------------------------------------------------------------

成果2：基于标准化交互空间的类别级手物功能性操控生成（2023年度）

       长期以来，人类灵巧手与物体的交互问题受到机器人、三维视觉、图形学社区的高度关注。给定特定类别（如剪刀）下的一个物体示例以及操作目标，弋力团队希望能生成一段与之匹配的人类灵巧手操作动画，其中要求生成出的动画应接近人类操作方式，且物理真实。现有方法局限性相对较大，具体体现在训练数据采集困难，对形状泛化性不佳等。为此，弋力团队提出了标准化交互空间CAMS (CAnonicalized Manipulation Spaces)用以表示手物交互，其通过提取手与物体的接触点、建立以接触为中心的手指嵌入特征，来实现局部交互与物体全局形状的解耦，使得交互生成具有更强的跨物体泛化性。基于CAMS表示，弋力团队提出了一套采用条件变分自编码器结构的手物交互动画生成框架。得益于CAMS表示的标准化特性，在同一物体类别下动作表示对具体物体形状的依赖性大大降低，因此类内跨物体泛化性大大提升。实验表明，对于已知类别内任意给定的目标形状，该方法均能生成出物理真实且类人的交互动画，而此前的工作对于训练数据中并未见过的形状存在较大的泛化问题。

       研究领域：数字人交互仿真

       项目网站：https://cams-hoi.github.io/

       研究论文：Juntian Zheng*, Lixing Fang*, Qingyuan Zheng*, Yun Liu, Li Yi. CAMS: CAnonicalized Manipulation Spaces for Category-Level Functional Hand-Object Manipulation Synthesis. CVPR 2023. 查看PDF

------------------------------------------------------------------------------------------------------------------------------

成果1：第一人称视角的类别级人-物交互的4D数据集（2022年度）

       得益于大量数据集和基准任务的提出，如何在图片、视频和点云中感知物体和人类活动这一问题已经取得了显著的成果。但是，随着机器人行业的快速发展和元宇宙的兴起，仅对上述数据类型进行感知已经无法满足行业的需求。机器人和VR/AR设备可以产生大量的4D数据（第一人称下的彩色点云序列），AI系统需要从中理解语义信息、手和物体的位姿信息、物体的功能性以及人手动作的类别等，这都是非常具有挑战性的开放问题。弋力团队提出了第一个大规模第一人称类别级人-物体交互4D数据集HOI4D。 数据集包括了4个采集者采集的4000段点云视频（总计2.4M帧点云）， 16个类别总计800个物体实例。

       HOI4D数据集提供了用于全景分割、运动分割、3D手部位姿、类别级物体位姿和手部动作的逐帧注释，以及物体CAD模型和重建场景点云。该工作还建立了三个基准任务来促进4D类别级人-物体交互的发展，包括4D动态点云序列的语义分割、类别级物体位姿跟踪和第一人称的细粒度视频动作分割。此研究可以支持大量的新兴研究方向，如4D场景理解、类别级人-物体交互、动态场景重建等，对人-物体交互领域的发展具有重要推动作用。