Consistent hasing has played a fundamental role as a data router and a load balancer in various fields, such as distributed database, cloud infrastructure, and peer-to-peer network. However, the existing consistent hashing schemes can't meet the requirements simultaneously, including full consistency, scalability, small memory footprint, low update time and low query complexity. Thus, We propose DxHash, a scalable consistent hashing algorithm based on the pseudo-random sequence. For the scenario of distributed storage, there are two optimizations based on DXHash are proposed. First, the Weighted DxHash can adjust the workloads on arbitrary nodes. Second, the Asymmetric Replica Strategy (ARS) is combining the replica strategy in distributed storage with the scaleup process to improve the availability of the system and reduce the remapping rate. The evaluation indicates that compared with the state-of-art works, DxHash achieves significant improvements on the 5 requirements. Even with 50% failure ratio, DxHash still can complete 16.5 million queries per second. What's more, the two optimizations both achieve their own results.


翻译:一致性作为数据路由器和载荷平衡器,在分布式数据库、云层基础设施和对等网络等不同领域发挥了基本作用。 但是,现有的一贯散列计划无法同时满足要求, 包括完全一致性、 缩放性、 小记忆足迹、 低更新时间和低查询复杂性。 因此, 我们提议DxHash, 一种基于假随机序列的可缩放性一致散列算法。 对于分布式储存的设想, 提出了两种基于 DXHash 的优化。 首先, Weighted DxHash 可以调整任意节点的工作量。 第二, 分布式储存中的非对称性复制战略( ARS) 正在将分布式储存战略与扩大系统可用性和降低再绘图率的进程结合起来。 评估表明, 与最新工程相比, DxHash 取得了显著的改进。 即使有50%的故障率, DxHash 仍然可以完成每秒1,650万次查询。 更何况如此, 两种优化都实现了自己的结果。

0
下载
关闭预览

相关内容

注意力机制综述
专知会员服务
210+阅读 · 2021年1月26日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年9月17日
Arxiv
0+阅读 · 2021年9月16日
Arxiv
0+阅读 · 2021年9月16日
VIP会员
相关VIP内容
注意力机制综述
专知会员服务
210+阅读 · 2021年1月26日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Top
微信扫码咨询专知VIP会员