The growing demand for database systems capable of efficiently managing massive datasets while delivering real-time transaction processing and advanced analytical capabilities has become critical in modern data infrastructure. While traditional OLAP systems often fail to meet these dual requirements, emerging real-time analytical processing systems still face persistent challenges, such as excessive data redundancy, complex cross-system synchronization, and suboptimal temporal efficiency. This paper introduces OceanBase Mercury as an innovative OLAP system designed for petabyte-scale data. The system features a distributed, multi-tenant architecture that ensures essential enterprise-grade requirements, including continuous availability and elastic scalability. Our technical contributions include three key components: (1) an adaptive columnar storage format with hybrid data layout optimization, (2) a differential refresh mechanism for materialized views with temporal consistency guarantees, and (3) a polymorphic vectorization engine supporting three distinct data formats. Empirical evaluations under real-world workloads demonstrate that OceanBase Mercury outperforms specialized OLAP engines by 1.3X to 3.1X speedup in query latency while maintaining sub-second latency, positioning it as a groundbreaking AP solution that effectively balances analytical depth with operational agility in big data environments.


翻译:现代数据基础设施中,对能够高效管理海量数据集、同时提供实时事务处理与高级分析能力的数据库系统需求日益增长,这已成为关键性要求。传统OLAP系统通常难以满足这种双重需求,而新兴的实时分析处理系统仍面临持续存在的挑战,例如数据冗余过度、跨系统同步复杂以及时间效率欠佳。本文提出OceanBase Mercury作为一种创新的面向PB级数据的OLAP系统。该系统采用分布式多租户架构,确保满足包括持续可用性和弹性可扩展性在内的企业级核心需求。我们的技术贡献包含三个关键组成部分:(1) 采用混合数据布局优化的自适应列式存储格式,(2) 具备时间一致性保证的物化视图差分刷新机制,以及(3) 支持三种不同数据格式的多态向量化引擎。在实际工作负载下的实证评估表明,OceanBase Mercury在查询延迟方面比专用OLAP引擎快1.3倍至3.1倍,同时保持亚秒级延迟,这使其成为一种突破性的AP解决方案,能够在大数据环境中有效平衡分析深度与运营敏捷性。

0
下载
关闭预览

相关内容

数据库行业发展报告
专知会员服务
41+阅读 · 2022年10月19日
分布式系统稳定性建设指南2022年(100页pdf)
专知会员服务
25+阅读 · 2022年6月24日
数据库发展研究报告(2021年)
专知会员服务
50+阅读 · 2021年6月29日
专知会员服务
48+阅读 · 2021年2月2日
基于机器学习的数据库技术综述
专知会员服务
55+阅读 · 2021年1月2日
佐治亚理工2020《数据库系统实现》课程,不可错过!
专知会员服务
24+阅读 · 2020年10月14日
【供应链】用好大数据,建设数字化供应链
产业智能官
15+阅读 · 2020年7月21日
时间序列预测:一课掌握亚马逊开源算法DeepAR
机器之心
13+阅读 · 2020年6月3日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
如何做数据治理?
智能交通技术
19+阅读 · 2019年4月20日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
孟小峰:机器学习与数据库技术融合
计算机研究与发展
14+阅读 · 2018年9月6日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员