By 2025, there are zettabytes of data generated every year. The size and complexity of modern large-scale computing infrastructures like High-Performance Computing (HPC) systems continue to evolve and become complex, leaving us wondering about their manageability and sustainability concerns. Because of this reason, those complex systems are provided with fine-grained monitoring and Operational Data Analytics (ODA) capabilities to optimise their efficiency. In this literature study, we list the fundamental pillars of the large-scale computing infrastructures which enable its ODA capabilities, and conduct a study of the popular ODA frameworks operating in various such environments (predominantly HPC). Based on that, we propose a more holistic ODA framework matching the various layers of a large-scale graph-processing distributed ecosystem proposed by Sherif Sak et al, that extends the ODA functionalities presented in an existing novel ODA framework proposed by Netti et al. We compare the holistic ODA framework proposed by us to some of the state-of-the-art frameworks that we study as part of this literature to highlight the novelty, which would hopefully draw more attention to perform extensive research in this field. As part of creating awareness, we highlight the significant operational efficiencies observed as a result of the implementation of the state-of-the-art ODA frameworks to make the study appear beneficial for the readers, and lastly, discuss the trending research work ongoing in this field.


翻译:到2025年,每年将产生泽字节级数据。现代大规模计算基础设施(如高性能计算系统)的规模和复杂度持续演进,其可管理性与可持续性问题引发关注。为此,此类复杂系统配备了细粒度监控和运维数据分析能力以优化运行效率。本文通过文献研究,首先梳理了支撑大规模计算基础设施实现运维数据分析能力的核心支柱,继而针对运行于多种环境(以高性能计算为主)中的主流运维数据分析框架展开系统研究。基于此,我们提出了一个更全面的运维数据分析框架,该框架适配Sherif Sak等人提出的大规模图处理分布式生态系统的多层架构,同时扩展了Netti等人现有创新框架中的运维数据分析功能。我们将所提出的全维框架与本研究涉及的部分前沿框架进行对比,以突出其创新价值,有望吸引更多学者在该领域开展深入研究。为增强认知,我们重点阐述了前沿运维数据分析框架实施带来的显著运行效率提升,使研究对读者更具参考价值,最后讨论了该领域当前的研究热点。

0
下载
关闭预览

相关内容

金融业AI大模型智算网络研究报告
专知会员服务
18+阅读 · 2025年6月1日
高质量大模型基础设施研究报告(2024年)
专知会员服务
43+阅读 · 2025年1月16日
【干货书】高性能大数据计算,275页pdf
专知会员服务
81+阅读 · 2023年1月3日
算力时代网络运力研究报告(2022),30页pdf
专知会员服务
37+阅读 · 2022年10月14日
工信部印发《“十四五”大数据产业发展规划》,20页pdf
专知会员服务
42+阅读 · 2021年3月28日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
59+阅读 · 2020年7月13日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
61+阅读 · 2019年12月21日
《2021—2022中国大数据产业发展报告》
专知
13+阅读 · 2022年1月23日
智能交通大数据最新论文综述-附PDF下载
专知
22+阅读 · 2019年1月21日
【大数据】大数据参考架构和关键技术(综合)
产业智能官
14+阅读 · 2018年11月22日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
38+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
17+阅读 · 2023年12月4日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员