Datacenter networks are currently locked in a "tyranny of the single objective". While modern workloads demand diverse performance goals, ranging from coflow completion times, per-flow fairness, short-flow latencies, existing fabrics are typically hardcoded for a single metric. This rigid coupling ensures peak performance when application and network objectives align, but results in abysmal performance when they diverge. We propose DMart, a decentralized scheduling framework that treats network bandwidth as a competitive marketplace. In DMart, applications independently encode the urgency and importance of their network traffic into autonomous bids, allowing diverse objectives to co-exist natively on the same fabric. To meet the extreme scale and sub-microsecond requirements of modern datacenters, DMart implements distributed, per-link, per-RTT auctions, without relying on ILPs, centralized schedulers, or complex priority queues. We evaluate DMart using packet-level simulations and compare it against network schedulers designed for individual metrics, e.g., pFabric and Sincronia. DMart matches the performance of specialized schedulers on their own "home turf" while simultaneously optimizing secondary metrics. Compared to pFabric and Sincronia, DMart reduces deadline misses by 2x and coflow completion times by 1.6x respectively, while matching pFabric short-flow completion times.


翻译:当前数据中心网络被禁锢在"单一目标的专制"之中。现代工作负载要求多样化的性能目标,包括协同流完成时间、单流公平性、短流延迟等,而现有网络架构通常为单一指标硬编码设计。这种刚性耦合确保了当应用目标与网络目标一致时达到峰值性能,但当两者偏离时则导致性能急剧下降。我们提出DMart,一种将网络带宽视为竞争性市场的去中心化调度框架。在DMart中,应用程序独立地将其网络流量的紧急性和重要性编码为自主出价,使得不同目标能够原生共存于同一网络架构上。为满足现代数据中心极端规模和亚微秒级要求,DMart实现了分布式、每链路、每RTT的拍卖机制,无需依赖整数线性规划、集中式调度器或复杂优先级队列。我们通过数据包级仿真评估DMart,并与针对单一指标设计的网络调度器(如pFabric和Sincronia)进行比较。DMart在专用调度器各自的"主场"上能匹配其性能,同时优化次要指标。相较于pFabric和Sincronia,DMart分别将截止时间错过率降低2倍、协同流完成时间缩短1.6倍,同时保持与pFabric相当的短流完成时间。

0
下载
关闭预览

相关内容

《数据中心2030》报告
专知会员服务
57+阅读 · 2023年9月21日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Arxiv
0+阅读 · 2月16日
VIP会员
相关VIP内容
《数据中心2030》报告
专知会员服务
57+阅读 · 2023年9月21日
相关资讯
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员