Collective communication (CC) is critical for scaling distributed machine learning (DML). The predictable traffic patterns of DML present a great oppotunity for applying optical network technologies. Optical networks with reconfigurable topologies promise high bandwidth and low latency for collective communications. However, existing approaches face inherent limitations: static topologies are inefficient for dynamic communication patterns within CC algorithm, while frequent topology reconfiguration matching every step of the algorithm incurs significant overhead. In this paper, we propose SWOT, a demand-aware optical network framework that employs ``intra-collective reconfiguration'' to dynamically align network resources with CC traffic patterns. SWOT hides reconfiguration latency by overlapping it with data transmission through three key techniques: Heterogeneous Message Splitting, Asynchronous Overlapping, and Topology Bypassing. Extensive simulations demonstrate that SWOT reduces communication completion time up to 89.7% across diverse CC algorithm compared to static baselines, demonstrating strong robustness to varying optical resources and reconfiguration delay.


翻译:集合通信对于扩展分布式机器学习至关重要。分布式机器学习可预测的流量模式为应用光网络技术提供了重要机遇。具有可重配置拓扑的光网络为集合通信提供了高带宽和低延迟的潜力。然而,现有方法面临固有局限:静态拓扑难以适应集合通信算法内部的动态通信模式,而频繁地根据算法每一步进行拓扑重配置则会带来显著开销。本文提出SWOT,一种需求感知的光网络框架,它采用"集合内重配置"来动态调整网络资源以匹配集合通信流量模式。SWOT通过三项关键技术——异构消息分割、异步重叠和拓扑旁路——将重配置延迟与数据传输重叠,从而隐藏重配置延迟。大量仿真实验表明,与静态基线相比,SWOT在各种集合通信算法中将通信完成时间降低了高达89.7%,并且对不同光网络资源和重配置延迟表现出很强的鲁棒性。

0
下载
关闭预览

相关内容

【CMU博士论文】通信高效且差分隐私的优化方法
专知会员服务
15+阅读 · 2025年8月2日
《一体化网络簇》201页论文
专知会员服务
36+阅读 · 2025年2月18日
「分布式机器学习系统网络性能优化」研究进展
专知会员服务
28+阅读 · 2022年10月1日
专知会员服务
48+阅读 · 2021年2月2日
常用的模型集成方法介绍:bagging、boosting 、stacking
一文概览基于深度学习的超分辨率重建架构
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员