上海期智研究院PI，清华大学交叉信息研究院助理教授。
博士毕业于麻省理工学院计算机科学专业，曾获伯克利研究生奖学金，MIT Lim奖学金，IIIS青年学者奖学金, MIT最佳AI&Decision Making 硕士论文， MIT 最佳 AI & Decision Making 博士论文 等奖项。 研究主要包含大规模优化算法，神经网络训练，算法复杂性分析，机器学习理论，以及人工智能应用。
个人荣誉
IIIS青年学者奖学金
麻省理工学院最佳人工智能和决策硕士论文
麻省理工学院最佳人工智能和决策博士论文
伯克利研究生奖学金
麻省理工学院Lim研究生奖学金
机器学习理论：计算问题的信息、样本复杂度上下界
深度学习：神经网络的训练简化、理解和加速
动力系统：动力系统在强化学习和电池领域的应用
成果5：智能体生成器：一种通过行为提示扩散生成通用策略网络的框架（2024年度）
图1. FC-BiO算法流程
团队在真实数据集上评估FC-BiO与已有方法的表现。结果显示， FC-BiO的求解效果显著优于已有方法，与理论结果一致。
图2. FC-BiO的求解效果显著优于其他已有算法
本工作弥合了一阶优化算法求解简单双层凸优化问题复杂度下界和上界的差距。
论文信息：Functionally Constrained Algorithm Solves Convex Simple Bilevel Problems, Huaqing Zhang*, Lesi Chen*, Jing Xu, Jingzhao Zhang†, https://arxiv.org/abs/2409.06530, NeurIPS 2024.
------------------------------------------------------------------------------------------------------------------------------
成果4：基于随机掩码的参数高效微调（2024年度）
微调是提升大型语言能力与安全性的重要步骤。参数高效微调通过减少参数训练量，大幅降低了微调的开销。针对特定任务进行参数微调是提高预训练模型性能的关键步骤。参数高效微调 (parameter efficient fine-tuning, PEFT) 通过在大模型中增加可训练轻量级模块，能显著降低微调算法的显存开销。为了探究参数高效微调算法的设计原理与性能极限，张景昭课题组研究了一种参数高效微调方法: 随机掩码 (Random Masking)。
图3. 参数高效算法的性能与可训练参数量的关系。
Masking为本文提出的随机掩码算法
随机掩码相较于现有的标准参数高效微调算法，例如LoRA，具有算法设计简单、训练参数量更少等特点。团队成员通过大规模实验发现，适当的学习率选择对随机掩码的成功至关重要，只需使用较大的学习率，随机掩码算法能在一些任务中取得与标准参数高效微调方法相当的性能。
图4. 随机掩码算法的数学表示
图5. 掩码方法示意图。红色网格表示可训练的参数，蓝色网格表示被冻结的参数
团队成员对该现象给出了理论与实验分析，证明了随机掩码的出色性能得益于大语言模型强大的表达能力，以及掩码使损失函数更平滑，降低了优化难度。该论文提出的随机掩码算法不仅为参数高效微调方法的设计与分析提供了新思路，而且对降低大规模预训练模型的微调成本具有重要实际价值。相关成功收录于ICML 2024中。本论文一作为清华大学交叉信息研究院博士生许靖。
论文信息：Random Masking Finds Winning Tickets for Parameter Efficient Fine-tuning, Jing Xu, Jingzhao Zhang, http://arxiv.org/abs/2405.02596, ICML 2024.
------------------------------------------------------------------------------------------------------------------------------
成果3：通过动态深度学习实现锂离子电池的真实故障检测（2024年度）
张景昭团队研究了分布式深度学习中的数据并行训练问题, 提出了Quadratic Synchronization Rule（QSR）的新方法，不仅考虑了通信成本和优化速度之间的权衡，而且还考虑了同步周期H对模型泛化能力的影响，在减少通信量和提高测试准确率方面的显著效果。
论文信息：A Quadratic Synchronization Rule for Distributed Deep Learning，Xinran Gu*, Kaifeng Lyu*, Sanjeev Arora, Jingzhao Zhang, Longbo Huang，https://github.com/hmgxr128/QSR
------------------------------------------------------------------------------------------------------------------------------
成果2：通过动态深度学习实现锂离子电池的真实故障检测（2023年度）
准确评估锂离子电池（LiB）安全状况可以减少意外电池故障，促进电池部署并促进低碳经济。尽管人工智能最近取得了进展，但由于复杂的故障机制以及缺乏具有大规模数据集的真实测试框架，异常检测方法并未针对实际电池设置进行定制或验证。在这里，我们开发了一个用于电动汽车 (EV) LiB 异常检测的现实深度学习框架。它具有专为动态系统量身定制的动态自动编码器，并根据社会和财务因素进行配置。我们在已发布的数据集上测试了我们的检测算法，该数据集包含 347 辆电动汽车的 690,000 多个 LiB 充电片段。我们的模型克服了最先进的故障检测模型（包括深度学习模型）的局限性。此外，它还减少了预期的电动汽车电池直接故障。
研究论文：Zhang, Jingzhao, et al. "Realistic fault detection of li-ion battery via dynamical deep learning." Nature Communications 14.1 (2023): 5940.
论文链接：https://people.csail.mit.edu/yichenl/projects/preconditioner/
------------------------------------------------------------------------------------------------------------------------------
成果1：测地度量空间中的 Sion 极小极大定理和黎曼外梯度算法（2023年度）
对于非凸非凹问题，确定鞍点是否存在或是否可近似通常很棘手。本文朝着理解一类仍然易于处理的非凸非凹极小极大问题迈出了一步。具体来说，它研究测地度量空间上的极小极大问题，这提供了通常的凸凹鞍点问题的广泛概括。论文的第一个主要结果是 Sion 极小极大定理的测地度量空间版本；我们相信我们的证明是新颖的并且可以广泛使用，因为它仅依赖于有限交集属性。第二个主要结果是测地完整黎曼流形的专门化：在这里，我们设计并分析了平滑极小极大问题的一阶方法的复杂性。
研究论文：Zhang, Peiyuan, Jingzhao Zhang, and Suvrit Sra. "Sion’s Minimax Theorem in Geodesic Metric Spaces and a Riemannian Extragradient Algorithm." SIAM Journal on Optimization 33.4 (2023): 2885-2908.
8. Online Control with Adversarial Disturbance for Continuous-time Linear Systems, Jingwei Li, Jing Dong, Can Chang, Baoxiang Wang, Jingzhao Zhang†, https://arxiv.org/pdf/2306.01952, NeurIPS 2024.
7. Functionally Constrained Algorithm Solves Convex Simple Bilevel Problems, Huaqing Zhang*, Lesi Chen*, Jing Xu, Jingzhao Zhang†, https://arxiv.org/abs/2409.06530, NeurIPS 2024.
6. Random Masking Finds Winning Tickets for Parameter Efficient Fine-tuning, Jing Xu, Jingzhao Zhang, http://arxiv.org/abs/2405.02596, ICML 2024.
5. Xinran Gu*, Kaifeng Lyu*, Sanjeev Arora, Jingzhao Zhang, Longbo Huang, A Quadratic Synchronization Rule for Distributed Deep Learning, ICLR 2024
4. Zhang J, Wang Y, Jiang B, He H, Huang S, Wang C, Zhang Y, Han X, Guo D, He G, Ouyang M, Realistic fault detection of li-ion battery via dynamical deep learning, Nature Communications, 2023 查看PDF
3. Zhang, Peiyuan and Zhang, Jingzhao and Sra, Suvrit, Sion’s Minimax Theorem in Geodesic Metric Spaces and a Riemannian Extragradient Algorithm, SIAM Journal on Optimization, 2023 查看PDF
2. Cheng, X., Wang, B., Zhang, J., & Zhu, Y. , Fast Conditional Mixing of MCMC Algorithms for Non-log-concave Distributions, Conference on Neural Information Processing Systems (NeurIPS), 2023 查看PDF
1. Kaiyue Wen, Jiaye Teng, Jingzhao Zhang, Benign Overfitting in Classification: Provably Counter Label Noise with Larger Models, International Conference on Learning Representation (ICLR), 2023 查看PDF
