Scientific research increasingly depends on robust and scalable IT infrastructures to support complex computational workflows. With the proliferation of services provided by research infrastructures, NRENs, and commercial cloud providers, researchers must navigate a fragmented ecosystem of computing environments, balancing performance, cost, scalability, and accessibility. Hybrid cloud architectures offer a compelling solution by integrating multiple computing environments to enhance flexibility, resource efficiency, and access to specialised hardware. This paper provides a comprehensive overview of hybrid cloud deployment models, focusing on grid and cloud platforms (OpenPBS, SLURM, OpenStack, Kubernetes) and workflow management tools (Nextflow, Snakemake, CWL). We explore strategies for federated computing, multi-cloud orchestration, and workload scheduling, addressing key challenges such as interoperability, data security, reproducibility, and network performance. Drawing on implementations from life sciences, as coordinated by the ELIXIR Compute Platform and their integration into a wider EOSC context, we propose a roadmap for accelerating hybrid cloud adoption in research computing, emphasising governance frameworks and technical solutions that can drive sustainable and scalable infrastructure development.


翻译:科学研究日益依赖于稳健且可扩展的IT基础设施,以支持复杂的计算工作流。随着研究基础设施、国家研究与教育网络以及商业云提供商所提供服务的激增,研究人员必须在一个碎片化的计算环境生态系统中进行导航,以平衡性能、成本、可扩展性和可访问性。混合云架构通过整合多种计算环境来增强灵活性、资源效率及对专用硬件的访问,从而提供了一个极具吸引力的解决方案。本文全面概述了混合云部署模型,重点关注网格与云平台(OpenPBS、SLURM、OpenStack、Kubernetes)以及工作流管理工具(Nextflow、Snakemake、CWL)。我们探讨了联邦计算、多云编排和工作负载调度的策略,并解决了互操作性、数据安全、可重复性和网络性能等关键挑战。借鉴生命科学领域的实施案例(如由ELIXIR计算平台协调及其在更广泛的欧洲开放科学云背景下的集成),我们提出了一个加速混合云在科研计算中采用的路线图,重点强调了能够推动可持续和可扩展基础设施发展的治理框架与技术解决方案。

0
下载
关闭预览

相关内容

深度研究系统的强化学习基础:综述
专知会员服务
29+阅读 · 2025年9月10日
图数据管理与图机器学习:协同效应与机会
专知会员服务
16+阅读 · 2025年2月5日
6G中联邦学习的应用、挑战和机遇
专知会员服务
52+阅读 · 2022年3月14日
专知会员服务
19+阅读 · 2021年7月20日
时空数据挖掘:综述
专知
35+阅读 · 2022年6月30日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
大数据分析研究组开源Easy Machine Learning系统
中国科学院网络数据重点实验室
17+阅读 · 2017年6月13日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
VIP会员
相关VIP内容
深度研究系统的强化学习基础:综述
专知会员服务
29+阅读 · 2025年9月10日
图数据管理与图机器学习:协同效应与机会
专知会员服务
16+阅读 · 2025年2月5日
6G中联邦学习的应用、挑战和机遇
专知会员服务
52+阅读 · 2022年3月14日
专知会员服务
19+阅读 · 2021年7月20日
相关资讯
时空数据挖掘:综述
专知
35+阅读 · 2022年6月30日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
大数据分析研究组开源Easy Machine Learning系统
中国科学院网络数据重点实验室
17+阅读 · 2017年6月13日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员