我们着眼于从三维视觉信号中理解物理世界，探索当智能机器人代理具身于三维世界中时，如何以行动为目标感知几何、位姿、物理、功能性、使用样例等面向交互的信息，以求进一步智能化机器人代理，使其能够探索复杂且结构凌乱的现实环境。具体来讲，我们重点关注三方面的内容，即面向交互的知识从何学起、标注高效可泛化的感知算法如何构筑、面向交互信息的感知范式如何发展。

1. HOI知识库构建与发展

面向交互的信息获取对于如今的感知系统仍是一个充满挑战的问题，基于真实数据的研究大都囿于大规模动态场景下人与物体交互（Human-Object Interaction, HOI）的数据与信息标注不足，即使是从仿真场景中的合成数据入手也难以进行有效推进，因为真实可靠的进行人与物体的交互仿真仍是一个难题。课题组构建了第一个大规模动态场景下类别级人与物体交互的真实4D数据集，并基于此展开了一系列4D点云序列中人-物交互感知方面的研究，内容涉及类别级位姿估计与追踪、4D全景分割、视频分割、模仿学习等等。此外，HOI知识库为HOI仿真打开了新思路，如何有效地在仿真场景中进行HOI数据生成也成为了团队聚焦的问题。

2. 标注高效可泛化的感知算法研发

为了帮助智能代理更好的适应快速变化且多样的现实环境，感知算法应当摆脱对数据的死板记忆而强调更多的分析、推理。一方面本团队中大量研究自监督、无监督等学习方法在三维感知中的应用，通过对数据的协同分析发现可以被迁移和泛化的“概念”，并利用这些“概念”增强感知算法的迁移与泛化能力。另一方团队也在挖掘三维场景中因果推断、组合式架构设计、动态反馈等思路对感知系统泛化能力的影响，更好得帮助机器做到举一反三。

3. 面向交互信息的感知范式

团队努力推动以物体和部件为中心的感知范式，将交互按照每个参与物体发生的变化来进行分解，给物体定义其可能发生的变化以及促成该变化所需要的行动，对部件的几何、位姿、功能性实现跨类别理解，并结合人-物示范交互来学习常识性知识，从而帮助机器更好的从场景中感知能够充分服务于其交互能力的相关信息。