High-performance computing (HPC) systems must support fast-moving software stacks, especially in AI/ML, while preserving scheduler control, scalable startup, and production performance. Yet many HPC container solutions rely on specialized runtime stacks that weaken continuity with mainstream cloud-native workflows and require ongoing effort to sustain compatibility with the evolving upstream ecosystem. We argue that HPC should specialize the integration layer while keeping the container engine aligned with upstream container evolution. We present Sarus Suite, an upstream-aligned HPC container architecture built around an unchanged Podman engine. Sarus Suite adds the HPC-specific functionality needed for production use through complementary system layers for declarative runtime specification, scheduler-native execution, scalable shared-image access, and standards-based host capability injection. We evaluate Sarus Suite on a Cray EX GH200 system using communication-intensive HPC workloads, large scale AI training, metadata-heavy startup workloads, and container startup measurements. Across PyFR, SPH-EXA, Megatron-LM, and Pynamic, Sarus Suite matches the performance and scaling of the production Enroot+Pyxis baseline while delivering consistently faster per-node container startup. The architecture also enables direct use of upstream OCI images, including NGC-based images, and supports cloud-native multi-container workflows expressed through Kubernetes manifests. These results show that HPC-grade containers do not require an HPC-specific runtime, provided that scheduler semantics, scalable image access, and host integration are implemented in explicit system layers. This preserves upstream continuity and software agility while maintaining scheduler control, scalability, and production performance.


翻译:高性能计算系统必须支持快速演进的软件栈,尤其在AI/ML领域,同时保持调度器控制、可扩展启动和生产性能。然而许多HPC容器解决方案依赖于专用运行时栈,削弱了与主流云原生工作流的连续性,并需要持续投入以维持与上游生态系统的兼容性。我们认为HPC应专精于集成层,同时使容器引擎与上游容器演进保持一致。我们提出Sarus Suite——一种围绕未修改的Podman引擎构建、与上游对齐的HPC容器架构。Sarus Suite通过补充性系统层(涵盖声明式运行时规格、调度器原生执行、可扩展共享镜像访问及基于标准的主机能力注入)添加生产级HPC所需功能。我们在Cray EX GH200系统上使用通信密集型HPC工作负载、大规模AI训练、元数据密集型启动工作负载及容器启动测试进行了评估。在PyFR、SPH-EXA、Megatron-LM和Pynamic基准测试中,Sarus Suite在匹配生产级Enroot+Pyxis基准性能与扩展性的同时,实现了持续更快的每节点容器启动速度。该架构还支持直接使用上游OCI镜像(包括NGC镜像),并可通过Kubernetes清单表达云原生多容器工作流。结果表明:只要调度器语义、可扩展镜像访问和主机集成通过显式系统层实现,HPC级容器无需专用HPC运行时。这既维护了上游连续性与软件敏捷性,又保持了调度器控制、可扩展性和生产性能。

0
下载
关闭预览

相关内容

国家标准《信息技术云计算参考架构》
专知会员服务
37+阅读 · 2024年5月24日
《云原生标准体系白皮书(2023)》发布,52页pdf
专知会员服务
54+阅读 · 2023年9月21日
华为发布业界首个《云原生数据库白皮书》,25页pdf
专知会员服务
51+阅读 · 2022年8月20日
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
43+阅读 · 2022年4月15日
专知会员服务
81+阅读 · 2021年7月28日
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
【HPC】HPC高性能计算知识: 主要应用场景和软件
产业智能官
22+阅读 · 2019年3月27日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
6+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员