Scientific workflows are critical to scientific data analysis and often involve computationally intensive processing of large datasets on compute clusters. As such, their execution tends to be long-running and resource-intensive, resulting in significant energy consumption and carbon emissions. While carbon-aware computing methods have received considerable attention in general cloud contexts, their application to scientific data analysis workflows remains a critical research gap. Our study addresses this oversight by showing how the delay tolerance, interruptibility, and scalability of scientific workflows can be leveraged for a significantly more sustainable execution model. In this study, we first quantify the problem of carbon emissions associated with running scientific workflows, and then demonstrate the transformative potential for carbon-aware workflow execution. We estimate the carbon footprint of seven real-world Nextflow workflows executed on diverse dedicated cluster and public cloud resources using high-resolution average and marginal grid carbon intensity data from open and commercial data providers. Furthermore, we conduct a systematic evaluation of the impact of carbon-aware temporal shifting, and the dynamic pausing and resuming of the workflow. Moreover, we investigate the impact of resource scaling at both workflow and workflow task levels. Finally, we report substantial potential reductions in overall carbon emissions, with temporal shifting capable of decreasing emissions by over 80%, and resource scaling by 67%.


翻译:科学工作流对科学数据分析至关重要,通常涉及在计算集群上对大规模数据集进行计算密集型处理。因此,其执行过程往往耗时较长且资源密集,导致显著的能源消耗和碳排放。尽管碳感知计算方法在通用云环境中已受到相当多的关注,但其在科学数据分析工作流中的应用仍是一个关键的研究空白。我们的研究通过展示如何利用科学工作流的延迟容忍性、可中断性和可扩展性来实现显著更可持续的执行模型,从而弥补了这一疏忽。在本研究中,我们首先量化了运行科学工作流相关的碳排放问题,然后论证了碳感知工作流执行的变革潜力。我们使用来自公开和商业数据提供商的高分辨率平均及边际电网碳强度数据,估算了七个真实世界Nextflow工作流在不同专用集群和公共云资源上执行时的碳足迹。此外,我们对碳感知时间迁移、工作流的动态暂停与恢复的影响进行了系统评估。同时,我们研究了在工作流层面和工作流任务层面进行资源扩展的影响。最后,我们报告了在总体碳排放方面存在的巨大减排潜力:时间迁移能够减少超过80%的排放,而资源扩展可减少67%的排放。

0
下载
关闭预览

相关内容

【博士论文】集群系统中的网络流调度
专知会员服务
47+阅读 · 2021年12月7日
专知会员服务
32+阅读 · 2021年2月17日
最新《流处理系统演化》综述论文,34页pdf
专知会员服务
21+阅读 · 2020年8月4日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
24+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
12+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
11+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
9+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
6+阅读 · 11月6日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员