选择语言
< 返回主菜单
li_fuben_fuben.jpg

弋力

上海期智研究院PI(2021年7月-至今)
清华大学助理教授

个人简介

上海期智研究院PI,清华大学交叉信息学院助理教授。

于斯坦福大学取得博士学位,导师为Leonidas J. Guibas教授,毕业后在谷歌研究院任研究科学家,与Thomas Funkhouser教授密切合作。此前在清华大学电子工程系取得了学士学位。研究兴趣涵盖3D感知,计算机图形学和具身人工智能,研究目标是使机器人代理具备理解3D世界并与之互动的能力。在CVPR,ICCV,ECCV,NeurIPS,SIGGRAPH,SIGGRAPH Asia等顶级会议发表二十余篇论文,并担任CVPR 2022领域主席。工作在领域内得到广泛关注,引用数达7500+,代表作品包括ShapeNet,光谱图CNN,PointNet++等。

研究方向

高维计算机视觉:基于三维、四维等高维视觉数据的世界模型构建与开放世界理解

以人为中心的具身智能环境仿真:数字人智能交互行为仿真与以人为中心的具身智能仿真学习平台构建

人机交互: 基于多模态驱动的机器人与人交互任务规划与技能学习

亮点成果

成果3:从可扩展的仿真、示例生成中模仿学习通用人机交接

       在以人为中心的具身智能研究中,通用人机交接(Generalizable Human-to-Robot Handover)是一个关键的技能,它使机器人能够更好地与人类合作。受大数据+大算力所驱动的大模型启发,弋力团队验证了“海量高质量数据+大规模模仿学习”走向通用智能的方式,提出了GenH2R框架,分别从仿真、示例生成、模仿学习三个角度出发,让机器人第一次基于端到端的方式学习对任意抓取方式、任意交接轨迹、任意物体几何的通用交接。GenH2R模拟了百万级别人在不同交接任务中的行为,使得在虚拟场景中的技能学习成为可能。为了解决示例数据稀缺的问题,同时保证示例数据对于技能学习的有效性,GenH2R以视觉观测与行动的相关性作为核心优化目标提出了一套动态抓取与运动规划方法,自动生成大规模示例数据,使得通过简单的模仿学习就可以获取通用的人机交接技能。相比于之前最优的人机交接方法,GenH2R的方法在各种测试集上平均成功率提升14%,时间上缩短13%,并在真机实验中取得更加鲁棒的效果。


2023弋力成果照片1.png


       研究领域:基于高维视觉的可泛化人机协作

       项目网站:https://GenH2R.github.io 

       研究论文:Zifan Wang*, Junyu Chen*, Ziqing Chen, Pengwei Xie, Rui Chen, Li Yi. GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation. In submission. 查看PDF


-------------------------------------------------------------------------------------------------------------------------------


成果2:基于标准化交互空间的类别级手物功能性操控生成

       长期以来,人类灵巧手与物体的交互问题受到机器人、三维视觉、图形学社区的高度关注。给定特定类别(如剪刀)下的一个物体示例以及操作目标,弋力团队希望能生成一段与之匹配的人类灵巧手操作动画,其中要求生成出的动画应接近人类操作方式,且物理真实。现有方法局限性相对较大,具体体现在训练数据采集困难,对形状泛化性不佳等。为此,弋力团队提出了标准化交互空间CAMS (CAnonicalized Manipulation Spaces)用以表示手物交互,其通过提取手与物体的接触点、建立以接触为中心的手指嵌入特征,来实现局部交互与物体全局形状的解耦,使得交互生成具有更强的跨物体泛化性。基于CAMS表示,弋力团队提出了一套采用条件变分自编码器结构的手物交互动画生成框架。得益于CAMS表示的标准化特性,在同一物体类别下动作表示对具体物体形状的依赖性大大降低,因此类内跨物体泛化性大大提升。实验表明,对于已知类别内任意给定的目标形状,该方法均能生成出物理真实且类人的交互动画,而此前的工作对于训练数据中并未见过的形状存在较大的泛化问题。


2023弋力成果照片2.png



       研究领域:数字人交互仿真

       项目网站:https://cams-hoi.github.io/

       研究论文:Juntian Zheng*, Lixing Fang*, Qingyuan Zheng*, Yun Liu, Li Yi. CAMS: CAnonicalized Manipulation Spaces for Category-Level Functional Hand-Object Manipulation Synthesis. CVPR 2023. 查看PDF


-------------------------------------------------------------------------------------------------------------------------------


成果1:第一人称视角的类别级人-物交互的4D数据集

       得益于大量数据集和基准任务的提出,如何在图片、视频和点云中感知物体和人类活动这一问题已经取得了显著的成果。但是,随着机器人行业的快速发展和元宇宙的兴起,仅对上述数据类型进行感知已经无法满足行业的需求。机器人和VR/AR设备可以产生大量的4D数据(第一人称下的彩色点云序列),AI系统需要从中理解语义信息、手和物体的位姿信息、物体的功能性以及人手动作的类别等,这都是非常具有挑战性的开放问题。弋力团队提出了第一个大规模第一人称类别级人-物体交互4D数据集HOI4D。 数据集包括了4个采集者采集的4000段点云视频(总计2.4M帧点云), 16个类别总计800个物体实例。

       HOI4D数据集提供了用于全景分割、运动分割、3D手部位姿、类别级物体位姿和手部动作的逐帧注释,以及物体CAD模型和重建场景点云。该工作还建立了三个基准任务来促进4D类别级人-物体交互的发展,包括4D动态点云序列的语义分割、类别级物体位姿跟踪和第一人称的细粒度视频动作分割。此研究可以支持大量的新兴研究方向,如4D场景理解、类别级人-物体交互、动态场景重建等,对人-物体交互领域的发展具有重要推动作用。


弋力2022.png

团队成员

弋力成员.jpg

招聘信息

论文发表

16. Junbo Zhang, Guofan Fan, Guanghan Wang, Zhengyuan Su, Kaisheng Ma, Li Yi, Language-Assisted 3D Feature Learning for Semantic Scene Understanding, Association for the Advancement of Artificial Intelligence (AAAI), 2023 查看PDF


15. Runpei Dong, Zekun Qi, Linfeng Zhang, Junbo Zhang, Jianjian Sun, Zheng Ge, Li Yi†, Kaisheng Ma†, Autoencoders as Cross-Modal Teachers: Can Pretrained 2D Image Transformers Help 3D Representation Learning?, International Conference on Learning Representation (ICLR), 2023 查看PDF


14. Xueyi Liu, Ji Zhang, Ruizhen Hu, Haibin Huang, He Wang, Li Yi, Self-Supervised Category-Level Articulated Object Pose Estimation with Part-Level SE(3) Equivariance, International Conference on Learning Representation (ICLR), 2023 查看PDF


13. Xuanyao Chen, Zhijian Liu, Haotian Tang, Li Yi, Hang Zhao, Song Han, SparseViT: Revisiting Activation Sparsity for, Conference on Computer Vision and Pattern Recognition (CVPR), 2023 查看PDF


12. Xiaomeng Xu, Yanchao Yang, Kaichun Mo, Boxiao Pan, Li Yi, Leonidas J. Guibas, JacobiNeRF: NeRF Shaping with Mutual Information Gradients, Conference on Computer Vision and Pattern Recognition (CVPR), 2023 查看PDF


11. Juntian Zheng, Lixing Fang, Qingyuan Zheng, Yun Liu, Li Yi, CAMS: CAnonicalized Manipulation Spaces for Category-Level Functional Hand-Object Manipulation Synthesis, Conference on Computer Vision and Pattern Recognition (CVPR), 2023 查看PDF


10. Zhuoyang Zhang, Yuhao Dong, Yunze Liu, Li Yi, Complete-to-Partial 4D Distillation for Self-Supervised Point Cloud Sequence Representation Learning, Conference on Computer Vision and Pattern Recognition (CVPR), 2023 查看PDF


9. Zekun Qi, Runpei Dong, Guofan Fan, Zheng Ge, Xiangyu Zhang, Kaisheng Ma, Li Yi, Contrast with Reconstruct: Contrastive 3D Representation Learning Guided by Generative Pretraining, International Conference on Machine Learning (ICML), 2023 查看PDF


8. Xueyi Liu, Bin Wang, He Wang, Li Yi, Few-Shot Physically-Aware Articulated Mesh Generation via Hierarchical Deformation, International Conference on Computer Vision (ICCV), 2023 查看PDF


7. Yunze Liu, Junyu Chen, Zekai Zhang, Li Yi, LeaF: Learning Frames for 4D Point Cloud Sequence Understanding, International Conference on Computer Vision (ICCV), 2023 查看PDF


6. Liuyu Bian, Pengyang Shi, Weihang Chen, Jing Xu, Li Yi†, Rui Chen†, TransTouch: Learning Transparent Objects Depth Sensing Through Sparse Touches, International Conference on Intelligent Robots and Systems (IROS), 2023 查看PDF


5. Yunze Liu, Yun Liu, Che Jiang, Kangbo Lyu, Weikang Wan, Hao Shen, Boqiang Liang, Zhoujie Fu, He Wang, Li Yi, HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction, Conference on Computer Vision and Pattern Recognition (CVPR), 2022 查看PDF


4. Xueyi Liu, Xiaomeng Xu, Anyi Rao, Chuang Gan, Li Yi, AutoGPart: Intermediate Supervision Search for Generalizable 3D Part Segmentation, Conference on Computer Vision and Pattern Recognition (CVPR), 2022 查看PDF


3. Hong-Xing Yu, Jiajun Wu,  Li Yi, Rotationally Equivariant 3D Object Detection, Conference on Computer Vision and Pattern Recognition (CVPR), 2022 查看PDF


2. Tianchen Zhao, Niansong Zhang, Xuefei Ning, He Wang, Li Yi, Yu Wang, CodedVTR: Codebook-Based Sparse Voxel Transformer in Geometric Regions, Conference on Computer Vision and Pattern Recognition (CVPR), 2022 查看PDF


1. Hao Wen, Yunze Liu, Jingwei Huang, Bo Duan, Li Yi, Point Primitive Transformer for Long-Term 4D Point Cloud Video Understanding, European Conference on Computer Vision (ECCV), 2022 查看PDF