Coflow provides a key application-layer abstraction for capturing communication patterns, enabling the efficient coordination of parallel data flows to reduce job completion times in distributed systems. Modern data center networks (DCNs) are employing multiple independent optical circuit switching (OCS) cores operating concurrently to meet the massive bandwidth demands of application jobs. However, existing coflow scheduling research primarily focuses on the single-core setting, with multi-core fabrics only for EPS (electrical packet switching) networks. To address this gap, this paper studies the coflow scheduling problem in multi-core OCS networks under the not-all-stop reconfiguration model in which one circuit's reconfiguration does not interrupt other circuits. The challenges stem from two aspects: (i) cross-core coupling induced by traffic assignment across heterogeneous cores; and (ii) per-core OCS scheduling constraints, namely port exclusivity and reconfiguration delay. We propose an approximation algorithm that jointly integrates cross-core flow assignment and per-core circuit scheduling to minimize the total weighted coflow completion time (CCT) and establish a provable worst-case performance guarantee. Furthermore, our algorithm framework can be directly applied to the multi-core EPS scenario with the corresponding approximation ratio under packet-switched fabrics. Trace-driven simulations using real Facebook workloads demonstrate that our algorithm effectively reduces weighted CCT and tail CCT.


翻译:协同流(Coflow)为捕获通信模式提供了关键的应用层抽象,通过高效协调并行数据流来减少分布式系统中的作业完成时间。现代数据中心网络(DCN)正采用多个独立运行的光路交换(OCS)核心并发工作,以满足应用作业的海量带宽需求。然而,现有协同流调度研究主要聚焦于单核场景,多核架构仅适用于EPS(电分组交换)网络。为填补这一空白,本文研究了非全停重配置模型(即一条电路的重新配置不会中断其他电路)下多核OCS网络中的协同流调度问题。挑战源于两个方面:(i) 异构核心间流量分配导致的跨核心耦合;(ii) 单核OCS调度约束,即端口独占性和重配置延迟。我们提出了一种近似算法,该算法联合集成了跨核心流量分配与单核电路调度,以最小化总加权协同流完成时间(CCT),并建立了可证明的最坏情况性能保证。此外,我们的算法框架可直接应用于多核EPS场景,并提供对应分组交换架构下的近似比。使用真实Facebook工作负载的轨迹驱动仿真表明,我们的算法有效降低了加权CCT和尾部CCT。

0
下载
关闭预览

相关内容

多智能体协同决策方法研究
专知会员服务
134+阅读 · 2022年12月15日
【Yoshua Bengio】生成式流网络,Generative Flow Networks
专知会员服务
32+阅读 · 2022年3月19日
【博士论文】集群系统中的网络流调度
专知会员服务
47+阅读 · 2021年12月7日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
面试题:请简要介绍下tensorflow的计算图
七月在线实验室
14+阅读 · 2019年6月10日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
半监督深度学习小结:类协同训练和一致性正则化
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员