Modern scientific data acquisition generates petabytes of data that must be transferred to geographically distant computing clusters. Conventional tools either rely on preconfigured sessions, which are difficult to tune for users without domain expertise, or they adaptively optimize only concurrency while ignoring other important parameters. We present \name, an adaptive data transfer method that jointly considers multiple parameters. Our solution incorporates heuristic-based parallelism, infinite pipelining, and a deep reinforcement learning based concurrency optimizer. To make agent training practical, we introduce a lightweight network simulator that reduces training time to less than four minutes and provides a $2750\times$ speedup compared to online training. Experimental evaluation shows that \name consistently outperforms existing methods across diverse datasets, achieving up to 9.5x higher throughput compared to state-of-the-art solutions.


翻译:现代科学数据采集产生海量数据,必须传输至地理上分散的计算集群。传统工具要么依赖预配置会话(这对缺乏领域专业知识的用户难以调优),要么仅自适应优化并发度而忽略其他重要参数。我们提出 \name,一种联合考虑多参数的自适应数据传输方法。我们的解决方案融合了基于启发式的并行化、无限流水线技术以及基于深度强化学习的并发优化器。为使智能体训练具备实用性,我们引入轻量级网络模拟器,将训练时间缩短至四分钟以内,相比在线训练实现 $2750\times$ 的加速比。实验评估表明,\name 在不同数据集上持续优于现有方法,相比最先进解决方案最高可实现 9.5 倍的吞吐量提升。

0
下载
关闭预览

相关内容

智能集群系统的强化学习方法综述
专知会员服务
83+阅读 · 2024年1月1日
【ETH博士论文】基于离散优化的学习,193页pdf
专知会员服务
44+阅读 · 2023年9月17日
专知会员服务
90+阅读 · 2020年12月11日
基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员