The paper presents a study of the efficiency of loading and storing data in the three most common Data Lakehouse systems, including Apache Hudi, Apache Iceberg, and Delta Lake, using Apache Spark as a distributed data processing platform. The study analyzes the behavior of each system when processing structured (CSV) and semi-structured (JSON) data of different sizes, including loading files up to 7 GB in size. The purpose of the work is to determine the most optimal Data Lakehouse architecture based on the type and volume of data sources, data loading performance using Apache Spark, and disk size of data for forming analytical data systems. The research covers the development of four sequential ETL processes, which include reading, transforming, and loading data into tables in each of the Data Lakehouse systems. The efficiency of each Lakehouse was evaluated according to two key criteria: data loading time and the volume of tables formed in the file system. For the first time, a comparison of performance and data storage in Apache Iceberg, Apache Hudi, and Delta Lake Data Lakehouse systems was conducted to select the most relevant architecture for building analytical data systems. The practical value of the study consists in the fact that it assists data engineers and architects in choosing the most appropriate Lakehouse architecture, understanding the balance between loading performance and storage efficiency. Experimental results showed that Delta Lake is the most optimal architecture for systems where the priority is the speed of loading data of any volume, while Apache Iceberg is most appropriate for systems where stability and disk space savings are critical. Apache Hudi proved ineffective in data loading and storage evaluation tasks but could potentially be effective in incremental update and streaming processing scenarios.


翻译:本文针对三大主流数据湖仓系统——Apache Hudi、Apache Iceberg及Delta Lake——在采用Apache Spark作为分布式数据处理平台时的数据加载与存储效率展开研究。实验分析了各系统处理不同规模结构化数据(CSV)与半结构化数据(JSON)的行为特征,涵盖最高7 GB文件的加载场景。研究目标在于根据数据源类型与规模、基于Apache Spark的数据加载性能以及用于构建分析数据系统的数据磁盘占用情况,确定最优数据湖仓架构。本文设计了四个连续的ETL流程,包括数据读取、转换及加载至各湖仓系统表。依据数据加载时间与文件系统形成的表空间占用两大关键指标评估每个湖仓的效率。首次对Apache Iceberg、Apache Hudi与Delta Lake三种数据湖仓系统的性能与存储进行对比,以筛选最适合构建分析数据系统的架构。本研究的实践价值在于协助数据工程师与架构师理解加载性能与存储效率的平衡,从而选择最合适的湖仓架构。实验结果表明:Delta Lake是优先重视任意规模数据加载速度的系统最优架构;Apache Iceberg则最适用于对稳定性与磁盘空间节省要求严苛的系统;Apache Hudi在数据加载与存储评估任务中表现不佳,但在增量更新与流处理场景中可能具有潜在优势。

0
下载
关闭预览

相关内容

腾讯大数据实时湖仓智能优化实践
专知会员服务
20+阅读 · 2024年9月19日
数据湖核心能力解析
专知会员服务
33+阅读 · 2024年6月12日
图数据库的发展脉络与技术演进
专知会员服务
25+阅读 · 2023年1月17日
智能数据库学习型索引研究综述
专知会员服务
23+阅读 · 2023年1月14日
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
43+阅读 · 2022年4月15日
面向大数据处理框架的JVM优化技术综述
专知会员服务
17+阅读 · 2021年11月27日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
98+阅读 · 2019年12月4日
大数据数仓学习路线
DataFunTalk
11+阅读 · 2020年8月5日
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
【干货】电商数据中台如何构建?
AliData
11+阅读 · 2019年4月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月8日
VIP会员
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
1+阅读 · 今天14:36
《战争中的大语言模型监管》
专知会员服务
2+阅读 · 今天14:26
边缘计算的军事应用
专知会员服务
8+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员