Modern High Performance Computing (HPC) centers face growing challenges in ingesting large and diverse data streams. These issues often create bottlenecks that limit bandwidth utilization and delay scientific progress. Traditional static allocation and simple queuing methods are often insufficient. This paper presents a dynamic, value-based approach to bandwidth allocation. We formalize the problem by incorporating both network and processing constraints. To address it, we introduce two auction-based mechanisms: the Greedy Value Density Auction, which is computationally efficient, and the Vickrey--Clarke--Groves (VCG) Knapsack Auction, which provides strong theoretical guarantees. Both mechanisms rely on user bids that specify data requirements and scientific value. The objective is to maximize the total value of successful transfers, commonly referred to as social welfare. Simulation results demonstrate that the proposed mechanisms significantly outperform First Come First Served (FCFS) baselines. Under high-load conditions, they reduce average and tail completion delays by more than 80%. Predictability also improves, with the coefficient of variation of delay decreasing by 75--85%. Network stability increases as well, with load volatility, measured by the peak-to-average ratio, decreasing by 60--70%. These results indicate that value-driven, adaptive bandwidth allocation can reduce congestion, improve resource utilization, and provide fairer access based on scientific importance.


翻译:现代高性能计算(HPC)中心在接入大规模多样化数据流时面临日益严峻的挑战。这些问题常造成带宽瓶颈,限制资源利用率并阻碍科研进展。传统的静态分配与简单排队方法往往难以满足需求。本文提出一种基于价值的动态带宽分配方法。通过整合网络与处理约束,我们形式化该问题。为求解该问题,我们引入两种基于拍卖的机制:计算高效的贪婪价值密度拍卖,以及具备强理论保证的维克里-克拉克-格罗夫斯(VCG)背包拍卖。两种机制均依赖于用户提交的投标,其中包含数据需求与科学价值信息,目标在于最大化成功传输的总价值(即社会总福利)。仿真结果表明,所提机制显著优于先到先服务(FCFS)基准方案。在高负载条件下,平均完成延迟与尾部延迟降低超过80%;延迟变异系数(衡量可预测性)降低75-85%;网络稳定性亦获提升,由峰值均值比衡量的负载波动性降低60-70%。上述结果表明,基于价值驱动的自适应带宽分配可有效缓解拥塞、提升资源利用率,并依据科学重要性实现更公平的访问。

0
下载
关闭预览

相关内容

《异步通信下的分布式武器-目标分配》
专知会员服务
63+阅读 · 2024年6月21日
专知会员服务
48+阅读 · 2021年2月2日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
【HPC】HPC高性能计算知识: 主要应用场景和软件
产业智能官
22+阅读 · 2019年3月27日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月27日
VIP会员
最新内容
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
0+阅读 · 24分钟前
在人工智能加速决策环境中拓展OODA循环
专知会员服务
0+阅读 · 34分钟前
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
0+阅读 · 49分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员