Cloud data centers face increasing pressure to reduce operational energy consumption as big data workloads continue to grow in scale and complexity. This paper presents a workload aware and energy efficient scheduling framework that profiles CPU utilization, memory demand, and storage IO behavior to guide virtual machine placement decisions. By combining historical execution logs with real time telemetry, the proposed system predicts the energy and performance impact of candidate placements and enables adaptive consolidation while preserving service level agreement compliance. The framework is evaluated using representative Hadoop MapReduce, Spark MLlib, and ETL workloads deployed on a multi node cloud testbed. Experimental results demonstrate consistent energy savings of 15 to 20 percent compared to a baseline scheduler, with negligible performance degradation. These findings highlight workload profiling as a practical and scalable strategy for improving the sustainability of cloud based big data processing environments.


翻译:随着大数据工作负载的规模和复杂性持续增长,云数据中心面临着降低运营能耗的日益增长的压力。本文提出了一种负载感知且高能效的调度框架,该框架通过剖析CPU利用率、内存需求和存储IO行为来指导虚拟机放置决策。通过将历史执行日志与实时遥测数据相结合,所提出的系统能够预测候选放置方案对能耗和性能的影响,并在保证服务等级协议合规性的同时实现自适应整合。该框架通过部署在多节点云测试平台上的代表性Hadoop MapReduce、Spark MLlib和ETL工作负载进行评估。实验结果表明,与基线调度器相比,该系统能实现15%至20%的稳定节能,且性能下降可忽略不计。这些发现凸显了负载剖析作为一种实用且可扩展的策略,对于提升基于云的大数据处理环境的可持续性具有重要意义。

0
下载
关闭预览

相关内容

【干货书】高性能大数据计算,275页pdf
专知会员服务
81+阅读 · 2023年1月3日
专知会员服务
18+阅读 · 2020年11月8日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
61+阅读 · 2019年12月21日
《2021—2022中国大数据产业发展报告》
专知
12+阅读 · 2022年1月23日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
【工业大数据】工业大数据分析处理技术与应用
产业智能官
29+阅读 · 2019年2月2日
【大数据】大数据参考架构和关键技术(综合)
产业智能官
14+阅读 · 2018年11月22日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
【工业大数据】一文带你读懂《工业大数据白皮书》
产业智能官
14+阅读 · 2018年1月20日
【工业互联网】工业互联网与工业大数据分析的应用
产业智能官
12+阅读 · 2017年12月26日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【干货书】高性能大数据计算,275页pdf
专知会员服务
81+阅读 · 2023年1月3日
专知会员服务
18+阅读 · 2020年11月8日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
61+阅读 · 2019年12月21日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员