Scientific workflows are widely used to automate scientific data analysis and often involve computationally intensive processing of large datasets on compute clusters. As such, their execution tends to be long-running and resource-intensive, resulting in substantial energy consumption and, depending on the energy mix, carbon emissions. Meanwhile, a wealth of carbon-aware computing methods have been proposed, yet little work has focused specifically on scientific workflows, even though they present a substantial opportunity for carbon-aware computing because they are often significantly delay tolerant, efficiently interruptible, highly scalable and widely heterogeneous. In this study, we first exemplify the problem of carbon emissions associated with running scientific workflows, and then show the potential for carbon-aware workflow execution. For this, we estimate the carbon footprint of seven real-world Nextflow workflows executed on different cluster infrastructures using both average and marginal carbon intensity data. Furthermore, we systematically evaluate the impact of carbon-aware temporal shifting, and the pausing and resuming of the workflow. Moreover, we apply resource scaling to workflows and workflow tasks. Finally, we report the potential reduction in overall carbon emissions, with temporal shifting capable of decreasing emissions by over 80%, and resource scaling capable of decreasing emissions by 67%.


翻译:科学工作流被广泛用于自动化科学数据分析,通常涉及在计算集群上对大型数据集进行计算密集型处理。因此,其执行过程往往耗时较长且资源密集,导致大量能源消耗,并依据能源结构产生相应的碳排放。与此同时,尽管已有大量碳感知计算方法被提出,但专门针对科学工作流的研究却很少。然而,科学工作流因其通常具有显著的延迟容忍性、高效可中断性、高度可扩展性以及广泛的异构性,为碳感知计算提供了重要机遇。在本研究中,我们首先例证了运行科学工作流相关的碳排放问题,进而展示了碳感知工作流执行的潜力。为此,我们使用平均碳强度和边际碳强度数据,估算了七个真实世界Nextflow工作流在不同集群基础设施上执行的碳足迹。此外,我们系统评估了碳感知时间转移、工作流暂停与恢复的影响。更进一步,我们对工作流及工作流任务应用了资源缩放。最后,我们报告了整体碳排放的潜在减少量:时间转移能够降低超过80%的排放,而资源缩放能够降低67%的排放。

0
下载
关闭预览

相关内容

【博士论文】优化智能体工作流以提升信息获取效率
专知会员服务
19+阅读 · 2025年7月7日
工业人工智能驱动的流程工业智能制造
专知会员服务
106+阅读 · 2022年3月9日
【博士论文】集群系统中的网络流调度
专知会员服务
46+阅读 · 2021年12月7日
专知会员服务
32+阅读 · 2021年2月17日
最新《流处理系统演化》综述论文,34页pdf
专知会员服务
21+阅读 · 2020年8月4日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员