Task-based runtime systems provide flexible load balancing and portability for parallel scientific applications, but their strong scaling is highly sensitive to task granularity. As parallelism increases, scheduling overhead may transition from negligible to dominant, leading to rapid drops in performance for some algorithms, while remaining negligible for others. Although such effects are widely observed empirically, there is a general lack of understanding how algorithmic structure impacts whether dynamic scheduling is always beneficial. In this work, we introduce a granularity characterization framework that directly links scheduling overhead growth to task-graph dependency topology. We show that dependency structure, rather than problem size alone, governs how overhead scales with parallelism. Based on this observation, we characterize execution behavior using a simple granularity measure that indicates when scheduling overhead can be amortized by parallel computation and when scheduling overhead dominates performance. Through experimental evaluation on representative parallel workloads with diverse dependency patterns, we demonstrate that the proposed characterization explains both gradual and abrupt strong-scaling breakdowns observed in practice. We further show that overhead models derived from dependency topology accurately predict strong-scaling limits and enable a practical runtime decision rule for selecting dynamic or static execution without requiring exhaustive strong-scaling studies or extensive offline tuning.


翻译:基于任务的运行时系统为并行科学计算应用提供了灵活的负载均衡与可移植性,但其强可扩展性对任务粒度高度敏感。随着并行度提升,调度开销可能从可忽略转变为主导因素,导致某些算法的性能急剧下降,而对其他算法则仍可忽略不计。尽管此类效应在实证中被广泛观察到,但学界普遍缺乏对算法结构如何影响动态调度是否始终有益的理解。本研究提出一种粒度特性表征框架,将调度开销增长直接关联至任务图依赖拓扑结构。我们证明依赖结构(而非单纯问题规模)主导着开销随并行度的扩展规律。基于此观察,我们采用一种简易的粒度度量来表征执行行为,该度量能够指示调度开销何时可被并行计算分摊,何时将主导整体性能。通过对具有多样化依赖模式的典型并行负载进行实验评估,我们证明所提出的表征方法能够解释实践中观察到的渐进式与突变式强可扩展性崩溃现象。进一步研究表明,基于依赖拓扑推导的开销模型可准确预测强可扩展性极限,并为选择动态或静态执行提供实用的运行时决策规则,无需进行详尽的强可扩展性研究或大量离线调优。

0
下载
关闭预览

相关内容

联邦学习中基础模型参数高效微调综述
专知会员服务
17+阅读 · 2025年5月5日
【博士论文】辨识性特征学习及在细粒度分析中的应用
专知会员服务
31+阅读 · 2020年12月10日
【康奈尔大学】度量数据粒度,Measuring Dataset Granularity
专知会员服务
13+阅读 · 2019年12月27日
流程/过程挖掘(Process Mining)最新综述
PaperWeekly
23+阅读 · 2022年9月19日
基于RASA的task-orient对话系统解析(一)
AINLP
16+阅读 · 2019年8月27日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
综述:Image Caption 任务之语句多样性
PaperWeekly
22+阅读 · 2018年11月30日
基于区域的目标检测——细粒度
计算机视觉战队
14+阅读 · 2018年2月1日
特征工程的特征理解(一)
机器学习研究会
10+阅读 · 2017年10月23日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月14日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
7+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
17+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
美海警海上态势感知无人系统
专知会员服务
6+阅读 · 4月28日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员