Many large-scale scientific applications exhibit time-varying behavior, yet production HPC clusters still rely on rigid, fixed-size allocations, and most dynamic techniques remain confined to laboratory prototypes. This work presents a practical MPI malleability methodology that integrates with state-of-the-art high-performance computing (HPC) software stacks and operational practices. The methodology is implemented in the Dynamic Management of Resources (DMR) framework and is designed to ease adoption by existing applications without requiring intrusive code changes or scheduler modifications. We evaluate our approach by integrating the DMR API into two large-scale scientific applications and deploying them on three TOP500 supercomputers under realistic production configurations. Our non-invasive malleability solution achieves performance comparable to static baselines in controlled environments while substantially reducing node-hour consumption for identical workloads. These results show that malleability can be effectively exploited on production systems using vanilla resource managers, lowering the barrier to adoption of dynamic resource management in HPC.


翻译:许多大规模科学应用表现出随时间变化的行为,但生产级HPC集群仍依赖于僵化的固定大小资源分配,且大多数动态技术仍局限于实验室原型。本文提出了一种实用的MPI可伸缩性方法,该方法可与先进的高性能计算(HPC)软件栈及运维实践相集成。该方案通过动态资源管理(DMR)框架实现,旨在降低现有应用的采用门槛,无需侵入式代码修改或调度器调整。我们通过将DMR API集成至两个大规模科学应用,并在三台TOP500超级计算机上以真实生产配置进行部署,评估了该方法。在受控环境中,我们的非侵入式可伸缩性方案性能与静态基准相当,同时显著减少了相同工作负载的节点小时消耗。这些结果表明,使用标准资源管理器即可在生产系统上有效利用可伸缩性,从而降低HPC中动态资源管理的采用壁垒。

0
下载
关闭预览

相关内容

LLMOps:大语言模型的生产环境管理
专知会员服务
38+阅读 · 2025年7月24日
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
【HPC】HPC高性能计算知识: 主要应用场景和软件
产业智能官
22+阅读 · 2019年3月27日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
机器学习的Pytorch实现资源集合
专知
11+阅读 · 2018年9月1日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月27日
Arxiv
0+阅读 · 5月7日
VIP会员
最新内容
论文 | 分子性质预测中的闭环自动研究与泛化认证
论文 | OmniScientist:全模态全学科AI科学家
专知会员服务
0+阅读 · 今天14:40
无人机已改变战场,但并未解决指挥问题
专知会员服务
5+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
11+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
相关VIP内容
LLMOps:大语言模型的生产环境管理
专知会员服务
38+阅读 · 2025年7月24日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员