In recent years, emerging hardware storage technologies have focused on divergent goals: better performance or lower cost-per-bit of storage. Correspondingly, data systems that employ these new technologies are typically optimized either to be fast (but expensive) or cheap (but slow). We take a different approach: by designing a storage engine to natively utilize two tiers of fast and low-cost storage technologies, we can achieve a Pareto-efficient balance between performance and cost-per-bit. This paper presents the design and implementation of PrismDB, a novel key-value store that exploits two extreme ends of the spectrum of modern NVMe storage technologies (3D XPoint and QLC NAND) simultaneously. Unlike prior work that has retrofitted data structures designed for a single tier to multi-tier storage, PrismDB's data structures and migration mechanism are tailored for different storage layers. The key design contributions of PrismDB is a novel hybrid data structure for tiered storage, and an adaptive and lightweight migration mechanism that is able to efficiently demote cold objects from the fast to the slow storage tier, and promote hot objects to the fast tier. Compared to the standard use of RocksDB on flash in datacenters today, PrismDB's average throughput on tiered storage is 3.3$\times$ faster and its read tail latency is 2$\times$ better, using equivalently-priced hardware.


翻译:近年来,新兴的硬件储存技术侧重于不同的目标:改进性能或降低成本/位存储量。相应地,使用这些新技术的数据系统通常优化为快速(但昂贵)或廉价(但缓慢)。我们采取不同的做法:设计一个本地使用两层快速和低成本存储技术的存储引擎,我们就可以在性能和成本-位之间实现高效平衡。本文介绍了普里斯坦布的设计和实施,这是一家新型的关键价值商店,它利用现代NVME储存技术(3D XPoint和QLCNAND)的两个极端端,同时利用现代NVME储存技术(3D XPoint和QLC NAND)的两个极端端。与以前为单层至多层存储设计的数据结构改造后的工作不同,PrismDD的数据结构和迁移机制是针对不同储存层的定制。PrismDB的主要设计贡献是用于分级存储的新型混合数据结构,适应性和轻度迁移机制能够高效地将冷器从慢层降为缓存层,并将热量物体提升到今天的等值。比重的硬体存储量数据在快速存储量数据中,比对标准使用。

0
下载
关闭预览

相关内容

【干货书】开放数据结构,Open Data Structures,337页pdf
专知会员服务
19+阅读 · 2021年9月17日
图节点嵌入(Node Embeddings)概述,9页pdf
专知会员服务
40+阅读 · 2020年8月22日
知识图谱本体结构构建论文合集
专知会员服务
110+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
分布式并行架构Ray介绍
CreateAMind
10+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
已删除
将门创投
6+阅读 · 2017年7月6日
Arxiv
0+阅读 · 2021年11月12日
Arxiv
37+阅读 · 2019年11月7日
Arxiv
5+阅读 · 2019年1月16日
Arxiv
3+阅读 · 2018年11月13日
VIP会员
最新内容
《美陆军条例:陆军指挥政策(2026版)》
专知会员服务
3+阅读 · 今天8:10
《军用自主人工智能系统的治理与安全》
专知会员服务
3+阅读 · 今天8:02
《系统簇式多域作战规划范畴论框架》
专知会员服务
7+阅读 · 4月20日
高效视频扩散模型:进展与挑战
专知会员服务
3+阅读 · 4月20日
乌克兰前线的五项创新
专知会员服务
7+阅读 · 4月20日
 军事通信系统与设备的技术演进综述
专知会员服务
6+阅读 · 4月20日
《北约标准:医疗评估手册》174页
专知会员服务
5+阅读 · 4月20日
相关VIP内容
【干货书】开放数据结构,Open Data Structures,337页pdf
专知会员服务
19+阅读 · 2021年9月17日
图节点嵌入(Node Embeddings)概述,9页pdf
专知会员服务
40+阅读 · 2020年8月22日
知识图谱本体结构构建论文合集
专知会员服务
110+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
分布式并行架构Ray介绍
CreateAMind
10+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
已删除
将门创投
6+阅读 · 2017年7月6日
Top
微信扫码咨询专知VIP会员