① 带约束的安全强化学习

1. 带约束的自我进化型智能系统设计：怎样以数学的语言合理定义可控性呢？这里我们用约束来进行定量的准确描述。该约束是通用且灵活的，直观上讲就是人为指定系统所不能实施的行为，然后通过迫使系统在其决策与控制过程中满足所定义的约束，我们便可以控制智能系统的行为模式，从而达到可控性的目的。重点在于：（a）研究针对强化学习的约束及其性质，并选择最佳的约束形式；（b）研究带约束条件的决策控制策略训练算法框架；（c）研究自我进化型智能系统试错探索过程中的约束满足方法。

② 感知-决策联合学习

2. 联合表征学习与决策控制的算法框架：真实世界往往是复杂且充满不确定性的，而目前的智能系统在处理此类环境时要么过度依赖数据的数量与质量，要么无法提取出有效的环境信息。本课题将探索如何提取有效的环境特征，并将其与决策控制部分作为一个整体闭环系统来交互。重点在于：（a）研究如何以无监督的方式，从高维、序贯的环境信号输入中提取出有效的表征；（b）研究如何将以表征学习为主的环境感知与以强化学习为主的决策控制联合起来建模与训练。