2024-05-06
张景昭团队研究了分布式深度学习中的数据并行训练问题, 提出了Quadratic Synchronization Rule(QSR)的新方法,不仅考虑了通信成本和优化速度之间的权衡,而且还考虑了同步周期H对模型泛化能力的影响,在减少通信量和提高测试准确率方面的显著效果。
论文标题:A Quadratic Synchronization Rule for Distributed Deep Learning
论文作者:Xinran Gu*, Kaifeng Lyu*, Sanjeev Arora, Jingzhao Zhang, Longbo Huang
项目链接:https://github.com/hmgxr128/QSR
分享到