There are multiple performance metrics in the design of coding schemes for distributed storage systems. The first metric is called repair bandwidth, which measures the network resources required during the repair process. Another critical metric for repair efficiency is disk I/O cost, defined as the amount of data packets accessed at helper nodes to repair the failed node. In an encoding scheme with optimal I/O cost, the number of packets sent to the newcomer is exactly the same as the number of packets read from memory. This mode of repair is referred to as uncoded repair, as no coding operations are performed at the helper node. In addition to minimizing disk I/O cost, an uncoded repair mechanism has the advantage of incurring minimal computational overhead at the helper node. In this paper, we demonstrate that for single node failures, if all surviving nodes participate in the repair of the failed node, we can achieve all points on the fundamental tradeoff curve between storage and repair bandwidth. The design of the proposed encoding scheme is based on the theory of gammoids, a specialized class of graph-based matroids. We prove that this scheme can tolerate an unlimited number of node repair iterations over a field of fixed size.


翻译:分布式存储系统编码方案的设计涉及多种性能指标。首要指标称为修复带宽,用于衡量修复过程中所需的网络资源。另一个影响修复效率的关键指标是磁盘I/O开销,其定义为修复故障节点时需从辅助节点访问的数据包总量。在具有最优I/O开销的编码方案中,发送至新节点的数据包数量与从内存读取的数据包数量完全相同。这种修复模式被称为无编码修复,因为辅助节点无需执行编码操作。除了最小化磁盘I/O开销外,无编码修复机制还具有辅助节点计算开销极低的优势。本文证明,对于单节点故障,若所有存活节点均参与故障节点修复,我们能够实现存储与修复带宽基本权衡曲线上的所有工作点。所提编码方案的设计基于伽莫德理论——一类特殊的基于图的拟阵。我们证明该方案能在固定规模的有限域上容忍无限次节点修复迭代。

0
下载
关闭预览

相关内容

基于深度神经网络的图像缺损修复方法综述
专知会员服务
26+阅读 · 2021年12月18日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
15+阅读 · 2021年5月12日
专知会员服务
32+阅读 · 2021年1月9日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
亿级订单数据的访问与储存,怎么实现与优化
ImportNew
11+阅读 · 2019年4月22日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
【干货】深入理解自编码器(附代码实现)
并行算法演进,从MapReduce到MPI
凡人机器学习
10+阅读 · 2017年11月5日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员