Serverless computing is a paradigm in which the underlying infrastructure is fully managed by the provider, enabling applications and services to be executed with elastic resource provisioning and minimal operational overhead. A core model within this paradigm is Function-as-a-Service (FaaS), where lightweight functions are deployed and triggered on demand, scaling seamlessly with workload. FaaS offers flexibility, cost-effectiveness, and fine-grained scalability, qualities particularly relevant for large-scale scientific infrastructures where data volumes are too large to centralise and computation must increasingly occur close to the data. The Square Kilometre Array Observatory (SKAO) exemplifies this challenge. Once operational, it will generate about 700~PB of data products annually, distributed across the SKA Regional Centre Network (SRCNet), a federation of international centres providing storage, computing, and analysis services. In such a context, FaaS offers a mechanism to bring computation to the data. We studied the principles of serverless and FaaS computing and explored their application to radio astronomy workflows. Representative functions for astrophysical data analysis were developed and deployed, including micro-functions derived from existing libraries and wrappers around domain-specific applications. In particular, a Gaussian convolution function was implemented and integrated within the SRCNet ecosystem. The use case demonstrates that FaaS can be embedded into the existing SRCNet ecosystem of services, allowing functions to run directly at sites where data replicas are stored. This reduces latency, minimises transfers, and improves efficiency, aligning with federated, data-proximate computation. The results show that serverless models provide a scalable and efficient pathway to address the data volumes of the SKA era.


翻译:无服务器计算是一种底层基础设施完全由提供商管理的范式,使得应用和服务能够以弹性资源供给和最小运维开销的方式执行。该范式中的核心模型是函数即服务(FaaS),其中轻量级函数按需部署和触发,并能随工作负载无缝扩展。FaaS提供了灵活性、成本效益和细粒度可扩展性,这些特性对于大规模科学基础设施尤为重要,因为此类设施的数据量过大而无法集中存储,且计算必须日益靠近数据所在位置。平方公里阵列天文台(SKAO)正是这一挑战的典型代表。其投入运行后,每年将产生约700PB的数据产品,这些数据分布在SKA区域中心网络(SRCNet)中——这是一个提供存储、计算和分析服务的国际中心联盟。在此背景下,FaaS提供了一种将计算带至数据的机制。我们研究了无服务器和FaaS计算的原理,并探索了其在射电天文工作流中的应用。我们开发并部署了用于天体物理数据分析的代表性函数,包括从现有库派生的微函数以及对领域特定应用的封装函数。特别地,我们实现了一个高斯卷积函数并将其集成到SRCNet生态系统中。该用例表明,FaaS可以嵌入到现有的SRCNet服务生态系统中,使函数能够在存储数据副本的站点直接运行。这降低了延迟、减少了数据传输并提高了效率,符合联邦化就近计算的原则。结果表明,无服务器模型为应对SKA时代的数据规模提供了一条可扩展且高效的途径。

0
下载
关闭预览

相关内容

服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。
服务器的构成包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
无人机边缘计算: 架构、多址接入与计算卸载
专知会员服务
35+阅读 · 2024年9月16日
【新书】边缘智能:深度学习驱动的边缘计算,277页pdf
专知会员服务
57+阅读 · 2024年8月18日
《雾计算平台微服务框架说明》美陆军报告
专知会员服务
23+阅读 · 2024年7月26日
国家标准《信息技术云计算参考架构》
专知会员服务
35+阅读 · 2024年5月24日
【伯克利博士论文】理解和探索无服务器云计算,233页pdf
专知会员服务
22+阅读 · 2022年12月31日
2022年中国云计算行业系列研究――laas行业研究报告
专知会员服务
28+阅读 · 2022年10月22日
专知会员服务
37+阅读 · 2021年7月8日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
出行即服务(MAAS)框架
智能交通技术
53+阅读 · 2019年5月22日
专访阿里亚顿:Serverless与BFF与前端
前端之巅
45+阅读 · 2019年5月8日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
【数据中台】什么是数据中台?
产业智能官
18+阅读 · 2019年7月30日
出行即服务(MAAS)框架
智能交通技术
53+阅读 · 2019年5月22日
专访阿里亚顿:Serverless与BFF与前端
前端之巅
45+阅读 · 2019年5月8日
边缘计算(一)——边缘计算的兴起
大数据和云计算技术
12+阅读 · 2018年12月25日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
15+阅读 · 2017年5月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员