The pursuit of high-performance data transfer often focuses on raw network bandwidth, where international links of 100 Gbps or higher are frequently considered the primary enabler. While necessary, this network-centric view is incomplete. It equates provisioned link speeds with practical, sustainable data movement capabilities. It is a common observation that lower-than-desired data rates manifest even on 10 Gbps links and commodity hardware, with higher-speed networks only amplifying their visibility. We investigate six paradigms -- from network latency and TCP congestion control to host-side factors such as CPU performance and virtualization -- that critically impact data movement workflows. These paradigms represent widely \enquote{accepted} engineering assumptions that inform system design, procurement decisions, and operational practices in production data movement environments. We introduce the \enquote{Drainage Basin Pattern} conceptual model for reasoning about end-to-end data flow constraints across heterogeneous hardware and software components at varying desired data rates to address the fidelity gap between raw bandwidth and application-level throughput. Our findings are validated through rigorous production-scale deployments, from 10 Gbps links to U.S. DOE ESnet technical evaluations and transcontinental production trials over 100 Gbps operational links. The results demonstrate that principal bottlenecks often reside outside the network core, and that a holistic hardware-software co-design enables consistent, predictable performance for moving data at scale and speed.


翻译:高性能数据传输的追求往往聚焦于原始网络带宽,其中100 Gbps或更高的国际链路常被视为主要推动因素。尽管必要,这种以网络为中心的观点并不完整。它将配置的链路速度与实际可持续的数据移动能力等同起来。一个普遍观察到的现象是,即使在10 Gbps链路和商用硬件上也会出现低于预期的数据速率,而更高速的网络只是放大了这种可见性。我们研究了六个关键影响数据移动工作流的范式——从网络延迟和TCP拥塞控制到主机端因素(如CPU性能和虚拟化)。这些范式代表了生产数据移动环境中广泛“公认”的工程假设,指导着系统设计、采购决策和操作实践。我们提出了“流域盆地模式”概念模型,用于推理跨异构硬件和软件组件在不同目标数据速率下的端到端数据流约束,以解决原始带宽与应用级吞吐量之间的保真度差距。我们的发现通过严格的生产规模部署得到验证,涵盖从10 Gbps链路到美国能源部ESnet技术评估,以及通过100 Gbps运营链路的跨大陆生产试验。结果表明,主要瓶颈通常存在于网络核心之外,而硬件-软件协同设计的整体方法能够为大规模高速数据移动提供一致且可预测的性能。

0
下载
关闭预览

相关内容

最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
迁移自适应学习最新综述,附21页论文下载
被动DNS,一个被忽视的安全利器
运维帮
11+阅读 · 2019年3月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员