Key-value stores underpin a wide range of applications due to their simplicity and efficiency. Log-Structured Merge Trees (LSM-trees) dominate as their underlying structure, excelling at handling rapidly growing data. Recent research has focused on optimizing LSM-tree performance under static workloads with fixed read-write ratios. However, real-world workloads are highly dynamic, and existing workload-aware approaches often struggle to sustain optimal performance or incur substantial transition overhead when workload patterns shift. To address this, we propose ElasticLSM, which removes traditional LSM-tree structural constraints to allow more flexible management actions (i.e., compactions and write stalls) creating greater opportunities for continuous performance optimization. We further design Arce, a lightweight compaction decision engine that guides ElasticLSM in selecting the optimal action from its expanded action space. Building on these components, we implement ArceKV, a full-fledged key-value store atop RocksDB. Extensive evaluations demonstrate that ArceKV outperforms state-of-the-art compaction strategies across diverse workloads, delivering around 3x faster performance in dynamic scenarios.


翻译:键值存储因其简洁性和高效性支撑着广泛的应用。日志结构合并树(LSM-trees)作为其底层结构占据主导地位,擅长处理快速增长的数据。现有研究主要集中于在读写比例固定的静态工作负载下优化LSM-tree性能。然而,实际工作负载具有高度动态性,当负载模式发生变化时,现有工作负载感知方法往往难以维持最优性能或产生显著的转换开销。为解决这一问题,我们提出ElasticLSM,它消除了传统LSM-tree的结构约束,允许更灵活的管理操作(即合并与写入暂停),从而为持续性能优化创造更大空间。我们进一步设计了Arce——一个轻量级合并决策引擎,指导ElasticLSM从其扩展的操作空间中选择最优动作。基于这些组件,我们在RocksDB之上实现了完整的键值存储系统ArceKV。大量实验表明,ArceKV在多样化工作负载下均优于当前最先进的合并策略,在动态场景中可实现约3倍的性能提升。

0
下载
关闭预览

相关内容

TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
【ICML2023】表示驱动强化学习
专知会员服务
39+阅读 · 2023年6月2日
智能数据库学习型索引研究综述
专知会员服务
23+阅读 · 2023年1月14日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
干货|从LSTM到Seq2Seq
全球人工智能
15+阅读 · 2018年1月9日
阿里流行音乐趋势预测-深度学习LSTM网络实现代码分享
机器学习研究会
11+阅读 · 2017年12月5日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
【ICML2023】表示驱动强化学习
专知会员服务
39+阅读 · 2023年6月2日
智能数据库学习型索引研究综述
专知会员服务
23+阅读 · 2023年1月14日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员