选择语言
< 返回主菜单

QSR:分布式训练需要新的同步周期

2024-05-06


1714969433961.jpg


       张景昭团队研究了分布式深度学习中的数据并行训练问题, 提出了Quadratic Synchronization Rule(QSR)的新方法,不仅考虑了通信成本和优化速度之间的权衡,而且还考虑了同步周期H对模型泛化能力的影响,在减少通信量和提高测试准确率方面的显著效果。

张景昭.png

论文标题:A Quadratic Synchronization Rule for Distributed Deep Learning

论文作者:Xinran Gu*, Kaifeng Lyu*, Sanjeev Arora,  Jingzhao Zhang, Longbo Huang

项目链接:https://github.com/hmgxr128/QSR



分享到