Distributed storage systems must handle both data heterogeneity, arising from non-uniform access demands, and device heterogeneity, caused by time-varying node reliability. In this paper, we study convertible codes, which enable the transformation of one code into another with minimum cost in the merge regime, addressing the latter. We derive general lower bounds on the read and write costs of linear code conversion, applicable to arbitrary linear codes. We then focus on Reed-Muller codes, which efficiently handle data heterogeneity, addressing the former issue, and construct explicit conversion procedures that, for the first time, combine both forms of heterogeneity for distributed data storage.


翻译:分布式存储系统必须同时应对数据异构性(由非均匀访问需求引起)和设备异构性(由节点可靠性随时间变化引起)。本文研究可转换编码,其能够在合并模式下以最小成本将一种编码转换为另一种编码,以解决后者(设备异构性)问题。我们推导了适用于任意线性编码的线性编码转换在读取和写入成本上的通用下界。随后,我们聚焦于能够高效处理数据异构性(解决前者问题)的 Reed-Muller 编码,并构建了显式的转换流程。该流程首次将两种异构性形式结合用于分布式数据存储。

0
下载
关闭预览

相关内容

【ICML2023】Transformer编码器表达能力的更严格界限
专知会员服务
31+阅读 · 2023年4月27日
代码注释最详细的Transformer
专知会员服务
113+阅读 · 2022年6月30日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
【ICML2021】具有线性复杂度的Transformer的相对位置编码
专知会员服务
25+阅读 · 2021年5月20日
专知会员服务
32+阅读 · 2021年1月9日
Transformer文本分类代码
专知会员服务
118+阅读 · 2020年2月3日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Arxiv
0+阅读 · 1月21日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员