The Square Kilometre Array (SKA) will generate unprecedented data volumes, making efficient data processing a critical challenge. Within this context, the SKA Regional Centres Network (SRCNet) must operate in a near-exascale environment where traditional data-centric computing models based on moving large datasets to centralised resources are no longer viable due to network and storage bottlenecks. To address this limitation, this work proposes a shift towards distributed and in-situ computing, where computation is moved closer to the data. We explore the integration of Function-as-a-Service (FaaS) with an intelligent decision-making entity based on Evolutionary Algorithms (EAs) to optimise data-intensive workflows within SRCNet. FaaS enables lightweight and modular function execution near data sources while abstracting infrastructure management. The proposed decision-making entity employs Multi-Objective Evolutionary Algorithms (MOEAs) to explore near-optimal execution plans considering execution time and energy consumption, together with constraints related to data location and transfer costs. This work establishes a baseline framework for efficient and cost-aware computation-to-data strategies within the SRCNet architecture.


翻译:平方公里阵列(SKA)将产生前所未有的数据量,使得高效的数据处理成为一项关键挑战。在此背景下,SKA区域中心网络(SRCNet)必须在接近百亿亿次计算规模的环境中运行,而传统的以数据为中心的计算模型——即将大型数据集迁移至集中式资源进行处理——由于网络和存储瓶颈已不再可行。为应对这一局限,本研究提出转向分布式与原位计算模式,使计算更贴近数据。我们探索了将函数即服务(FaaS)与基于进化算法(EAs)的智能决策实体相结合,以优化SRCNet内的数据密集型工作流。FaaS支持在数据源附近执行轻量级、模块化的函数,同时抽象化基础设施管理。所提出的决策实体采用多目标进化算法(MOEAs)来探索近似最优的执行方案,综合考虑执行时间和能耗,以及数据位置与传输成本相关的约束条件。本研究为SRCNet架构内高效且成本敏感的计算向数据策略建立了基础框架。

0
下载
关闭预览

相关内容

【WWW2025】基于不确定性的图结构学习
专知会员服务
17+阅读 · 2025年2月20日
【WWW2021】归一化硬样本挖掘的双重注意匹配网络
专知会员服务
18+阅读 · 2021年3月31日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员