Rafael Ferreira da Silva,Rosa M. Badia,Venkat Bala,Debbie Bard,Peer-Timo Bremer,Ian Buckley,Silvina Caino-Lores,Kyle Chard,Carole Goble,Shantenu Jha,Daniel S. Katz,Daniel Laney,Manish Parashar,Frederic Suter,Nick Tyler,Thomas Uram,Ilkay Altintas,Stefan Andersson,William Arndt,Juan Aznar,Jonathan Bader,Bartosz Balis,Chris Blanton,Kelly Rosa Braghetto,Aharon Brodutch,Paul Brunk,Henri Casanova,Alba Cervera Lierta,Justin Chigu,Taina Coleman,Nick Collier,Iacopo Colonnelli,Frederik Coppens,Michael Crusoe,Will Cunningham,Bruno de Paula Kinoshita,Paolo Di Tommaso,Charles Doutriaux,Matthew Downton,Wael Elwasif,Bjoern Enders,Chris Erdmann,Thomas Fahringer,Ludmilla Figueiredo,Rosa Filgueira,Martin Foltin,Anne Fouilloux,Luiz Gadelha,Andy Gallo,Artur Garcia Saez,Daniel Garijo,Roman Gerlach,Ryan Grant,Samuel Grayson,Patricia Grubel,Johan Gustafsson,Valerie Hayot-Sasson,Oscar Hernandez,Marcus Hilbrich,AnnMary Justine,Ian Laflotte,Fabian Lehmann,Andre Luckow,Jakob Luettgau,Ketan Maheshwari,Motohiko Matsuda,Doriana Medic,Pete Mendygral,Marek Michalewicz,Jorji Nonaka,Maciej Pawlik,Loic Pottier,Line Pouchard,Mathias Putz,Santosh Kumar Radha,Lavanya Ramakrishnan,Sashko Ristov,Paul Romano,Daniel Rosendo,Martin Ruefenacht,Katarzyna Rycerz,Nishant Saurabh,Volodymyr Savchenko,Martin Schulz,Christine Simpson,Raul Sirvent,Tyler Skluzacek,Stian Soiland-Reyes,Renan Souza,Sreenivas Rangan Sukumar,Ziheng Sun,Alan Sussman,Douglas Thain,Mikhail Titov,Benjamin Tovar,Aalap Tripathy,Matteo Turilli,Bartosz Tuznik,Hubertus van Dam,Aurelio Vivas,Logan Ward,Patrick Widener,Sean Wilkinson,Justyna Zawalska,Mahnoor Zulfiqar
Rafael Ferreira da Silva,Rosa M. Badia,Venkat Bala,Debbie Bard,Peer-Timo Bremer,Ian Buckley,Silvina Caino-Lores,Kyle Chard,Carole Goble,Shantenu Jha,Daniel S. Katz,Daniel Laney,Manish Parashar,Frederic Suter,Nick Tyler,Thomas Uram,Ilkay Altintas,Stefan Andersson,William Arndt,Juan Aznar,Jonathan Bader,Bartosz Balis,Chris Blanton,Kelly Rosa Braghetto,Aharon Brodutch,Paul Brunk,Henri Casanova,Alba Cervera Lierta,Justin Chigu,Taina Coleman,Nick Collier,Iacopo Colonnelli,Frederik Coppens,Michael Crusoe,Will Cunningham,Bruno de Paula Kinoshita,Paolo Di Tommaso,Charles Doutriaux,Matthew Downton,Wael Elwasif,Bjoern Enders,Chris Erdmann,Thomas Fahringer,Ludmilla Figueiredo,Rosa Filgueira,Martin Foltin,Anne Fouilloux,Luiz Gadelha,Andy Gallo,Artur Garcia Saez,Daniel Garijo,Roman Gerlach,Ryan Grant,Samuel Grayson,Patricia Grubel,Johan Gustafsson,Valerie Hayot-Sasson,Oscar Hernandez,Marcus Hilbrich,AnnMary Justine,Ian Laflotte,Fabian Lehmann,Andre Luckow,Jakob Luettgau,Ketan Maheshwari,Motohiko Matsuda,Doriana Medic,Pete Mendygral,Marek Michalewicz,Jorji Nonaka,Maciej Pawlik,Loic Pottier,Line Pouchard,Mathias Putz,Santosh Kumar Radha,Lavanya Ramakrishnan,Sashko Ristov,Paul Romano,Daniel Rosendo,Martin Ruefenacht,Katarzyna Rycerz,Nishant Saurabh,Volodymyr Savchenko,Martin Schulz,Christine Simpson,Raul Sirvent,Tyler Skluzacek,Stian Soiland-Reyes,Renan Souza,Sreenivas Rangan Sukumar,Ziheng Sun,Alan Sussman,Douglas Thain,Mikhail Titov,Benjamin Tovar,Aalap Tripathy,Matteo Turilli,Bartosz Tuznik,Hubertus van Dam,Aurelio Vivas,Logan Ward,Patrick Widener,Sean Wilkinson,Justyna Zawalska,Mahnoor Zulfiqar

Scientific workflows have become integral tools in broad scientific computing use cases. Science discovery is increasingly dependent on workflows to orchestrate large and complex scientific experiments that range from execution of a cloud-based data preprocessing pipeline to multi-facility instrument-to-edge-to-HPC computational workflows. Given the changing landscape of scientific computing and the evolving needs of emerging scientific applications, it is paramount that the development of novel scientific workflows and system functionalities seek to increase the efficiency, resilience, and pervasiveness of existing systems and applications. Specifically, the proliferation of machine learning/artificial intelligence (ML/AI) workflows, need for processing large scale datasets produced by instruments at the edge, intensification of near real-time data processing, support for long-term experiment campaigns, and emergence of quantum computing as an adjunct to HPC, have significantly changed the functional and operational requirements of workflow systems. Workflow systems now need to, for example, support data streams from the edge-to-cloud-to-HPC enable the management of many small-sized files, allow data reduction while ensuring high accuracy, orchestrate distributed services (workflows, instruments, data movement, provenance, publication, etc.) across computing and user facilities, among others. Further, to accelerate science, it is also necessary that these systems implement specifications/standards and APIs for seamless (horizontal and vertical) integration between systems and applications, as well as enabling the publication of workflows and their associated products according to the FAIR principles. This document reports on discussions and findings from the 2022 international edition of the Workflows Community Summit that took place on November 29 and 30, 2022.


翻译:科学工作流已成为广泛科学计算用例中的关键工具。科学发现日益依赖工作流来编排大规模和复杂的科学实验,这些实验涵盖从基于云的数据预处理管线执行到跨设施仪器-边缘-高性能计算(HPC)的计算工作流。鉴于科学计算格局的变化以及新兴科学应用需求的演进,开发新型科学工作流及系统功能以提升现有系统和应用的效率、弹性和普及性至关重要。具体而言,机器学习/人工智能(ML/AI)工作流的激增、对边缘仪器产生的大规模数据集处理的需求、近实时数据处理强度的增加、长期实验活动的支持,以及量子计算作为HPC补充技术的兴起,已显著改变了工作流系统的功能与运行需求。工作流系统现在需支持如从边缘到云再到HPC的数据流、管理大量小文件、在确保高精度的同时实现数据压缩、跨计算与用户设施编排分布式服务(工作流、仪器、数据移动、溯源、发布等)等功能。此外,为加速科学发现,这些系统还需实施规范/标准及应用程序编程接口(API),实现系统与应用程序之间的无缝(横向与纵向)集成,并依据FAIR原则实现工作流及其关联产品的发布。本文档报告了2022年11月29日至30日举行的2022年国际版工作流社区峰会的讨论与发现。

0
下载
关闭预览

相关内容

专知会员服务
60+阅读 · 2021年5月20日
2019年机器学习框架回顾
专知会员服务
36+阅读 · 2019年10月11日
直击云上新技术,Next ’22 中文精选课精彩回顾
谷歌开发者
0+阅读 · 2022年11月10日
助力构建理想应用 | Firebase Summit 2022 精彩回顾
谷歌开发者
0+阅读 · 2022年11月8日
精彩活动丨AI for Graph Computation学术研讨会
图与推荐
1+阅读 · 2022年7月16日
安全进展 | 持续打造值得信赖的 Google Play 平台
谷歌开发者
0+阅读 · 2022年7月13日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
最新内容
ICML 2026 | 演化选择的因果建模
专知会员服务
3+阅读 · 6月5日
综述|学习式3D表征最新进展与趋势
专知会员服务
4+阅读 · 6月5日
人工智能重塑威慑:算法优势的兴起
专知会员服务
5+阅读 · 6月5日
AgentOps综述:智能体系统运维框架
专知会员服务
15+阅读 · 6月4日
《美陆军最新条令:兵力防护》
专知会员服务
11+阅读 · 6月4日
《人工智能的挑战:算法战的想象与现实》
专知会员服务
12+阅读 · 6月4日
首场人工智能战争:Maven如何重塑武装冲突
专知会员服务
8+阅读 · 6月4日
相关VIP内容
专知会员服务
60+阅读 · 2021年5月20日
2019年机器学习框架回顾
专知会员服务
36+阅读 · 2019年10月11日
相关资讯
直击云上新技术,Next ’22 中文精选课精彩回顾
谷歌开发者
0+阅读 · 2022年11月10日
助力构建理想应用 | Firebase Summit 2022 精彩回顾
谷歌开发者
0+阅读 · 2022年11月8日
精彩活动丨AI for Graph Computation学术研讨会
图与推荐
1+阅读 · 2022年7月16日
安全进展 | 持续打造值得信赖的 Google Play 平台
谷歌开发者
0+阅读 · 2022年7月13日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
相关基金
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员