Process malleability has proved to have a highly positive impact on the resource utilization and global productivity in data centers compared with the conventional static resource allocation policy. However, the non-negligible additional development effort this solution imposes has constrained its adoption by the scientific programming community. In this work, we present DMRlib, a library designed to offer the global advantages of process malleability while providing a minimalist MPI-like syntax. The library includes a series of predefined communication patterns that greatly ease the development of malleable applications. In addition, we deploy several scenarios to demonstrate the positive impact of process malleability featuring different scalability patterns. Concretely, we study two job submission modes (rigid and moldable) in order to identify the best-case scenarios for malleability using metrics such as resource allocation rate, completed jobs per second, and energy consumption. The experiments prove that our elastic approach may improve global throughput by a factor higher than 3x compared to the traditional workloads of non-malleable jobs.


翻译:进程可塑性已被证明,与传统的静态资源分配策略相比,能够对数据中心的资源利用率和全局生产力产生显著的积极影响。然而,该方案所引入的不可忽略的额外开发工作量,限制了其在科学编程社区中的采用。在本工作中,我们提出了 DMRlib,一个旨在提供进程可塑性的全局优势,同时具有极简 MPI 风格语法的库。该库包含一系列预定义的通信模式,极大地简化了可塑性应用的开发。此外,我们部署了若干场景,以展示具有不同可扩展性模式的进程可塑性的积极影响。具体而言,我们研究了两种作业提交模式(刚性作业和可塑作业),以使用资源分配率、每秒完成的作业数和能量消耗等指标来识别可塑性的最佳应用场景。实验证明,与传统的非可塑作业负载相比,我们的弹性方法可将全局吞吐量提升超过 3 倍。

0
下载
关闭预览

相关内容

《MERLIN:面向推广资源与研究的国家数据管理平台》报告
专知会员服务
17+阅读 · 2025年12月27日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
机器学习可解释性工具箱XAI
专知
11+阅读 · 2019年2月8日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
AUTOLAB:86亿Token实测前沿模型的长程自动科研能力
乌克兰战场背后的新武器
专知会员服务
4+阅读 · 今天4:55
基于博弈论的陆军人机协同(长文报告)
专知会员服务
10+阅读 · 今天1:54
美国陆军航空兵:以愿景引领转型
专知会员服务
6+阅读 · 今天1:38
《多域战场上反制小型无人机系统》150页
专知会员服务
16+阅读 · 6月11日
战场人工智能:增强陆地作战能力的发现与要求
相关VIP内容
《MERLIN:面向推广资源与研究的国家数据管理平台》报告
专知会员服务
17+阅读 · 2025年12月27日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员