Collective communication (CC) is critical for scaling distributed machine learning (DML). The predictable traffic patterns of DML present a great oppotunity for applying optical network technologies. Optical networks with reconfigurable topologies promise high bandwidth and low latency for collective communications. However, existing approaches face inherent limitations: static topologies are inefficient for dynamic communication patterns within CC algorithm, while frequent topology reconfiguration matching every step of the algorithm incurs significant overhead. In this paper, we propose SWOT, a demand-aware optical network framework that employs ``intra-collective reconfiguration'' to dynamically align network resources with CC traffic patterns. SWOT hides reconfiguration latency by overlapping it with data transmission through three key techniques: Heterogeneous Message Splitting, Asynchronous Overlapping, and Topology Bypassing. Extensive simulations demonstrate that SWOT reduces communication completion time up to 89.7% across diverse CC algorithm compared to static baselines, demonstrating strong robustness to varying optical resources and reconfiguration delay.


翻译:集合通信对于扩展分布式机器学习至关重要。分布式机器学习可预测的流量模式为应用光网络技术提供了重要机遇。具有可重配置拓扑的光网络为集合通信提供了高带宽和低延迟的潜力。然而,现有方法面临固有局限:静态拓扑难以适应集合通信算法内部的动态通信模式,而频繁地根据算法每一步进行拓扑重配置则会带来显著开销。本文提出SWOT,一种需求感知的光网络框架,它采用"集合内重配置"来动态调整网络资源以匹配集合通信流量模式。SWOT通过三项关键技术——异构消息分割、异步重叠和拓扑旁路——将重配置延迟与数据传输重叠,从而隐藏重配置延迟。大量仿真实验表明,与静态基线相比,SWOT在各种集合通信算法中将通信完成时间降低了高达89.7%,并且对不同光网络资源和重配置延迟表现出很强的鲁棒性。

0
下载
关闭预览

相关内容

【AAAI2022】SVT-Net的超轻量化网络
专知会员服务
21+阅读 · 2021年12月5日
专知会员服务
22+阅读 · 2021年8月20日
【WSDM2021】保存节点相似性的图卷积网络
专知会员服务
41+阅读 · 2020年11月22日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员