Coded polynomial aggregation (CPA) enables the master to directly recover a weighted aggregation of polynomial evaluations without individually decoding each term, thereby reducing the number of required worker responses. In this paper, we extend CPA to straggler-aware distributed computing systems and introduce a straggler-aware CPA framework with pre-specified non-straggler patterns, where exact recovery is required only for a given collection of admissible non-straggler sets. Our main result shows that exact recovery of the desired aggregation is achievable with fewer worker responses than required by polynomial coded computing based on individual decoding, and that feasibility is fundamentally characterized by the intersection structure of the non-straggler patterns. In particular, we establish necessary and sufficient conditions for exact recovery in straggler-aware CPA and identify an intersection-size threshold that is sufficient to guarantee exact recovery. We further prove that this threshold becomes both necessary and sufficient when the number of admissible non-straggler sets is sufficiently large. We also provide an explicit construction of feasible CPA schemes whenever the intersection size exceeds the derived threshold. Finally, simulations reveal a sharp feasibility transition at the predicted threshold, providing empirical evidence that the bound is tight in practice.


翻译:编码多项式聚合(CPA)使主节点能够直接恢复多项式求值的加权聚合,而无需单独解码每个项,从而减少所需的工人响应数量。在本文中,我们将CPA扩展到具有容错机制的分布式计算系统,并引入一种具有预定义非滞后模式(non-straggler patterns)的容错CPA框架,其中仅需对给定的可容许非滞后集合(admissible non-straggler sets)实现精确恢复。我们的主要结果表明,相较于基于单独解码的多项式编码计算,通过更少的工人响应即可实现目标聚合的精确恢复,且可行性根本上由非滞后模式的交集结构所表征。具体而言,我们建立了容错CPA中精确恢复的必要与充分条件,并确定了一个足以保证精确恢复的交集规模阈值。我们进一步证明,当可容许非滞后集合数量足够大时,该阈值同时成为必要且充分条件。我们还给出了当交集规模超过推导阈值时可行CPA方案的显式构造。最后,仿真实验在预测阈值处呈现出急剧的可行性转变,为阈值在实际中的紧致性提供了实证依据。

0
下载
关闭预览

相关内容

【干货书】代数编码理论导论
专知会员服务
44+阅读 · 2023年9月13日
【CVPR2023】DiffCollage:用扩散模型并行生成大量内容
专知会员服务
28+阅读 · 2023年4月4日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
55+阅读 · 2022年11月2日
【干货书】信息论与编码,517页pdf
专知会员服务
90+阅读 · 2022年7月20日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
32+阅读 · 2021年1月9日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
变分自编码器VAE:一步到位的聚类方案
PaperWeekly
25+阅读 · 2018年9月18日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
深度 | 变分自编码器VAE面临的挑战与发展方向
机器之心
16+阅读 · 2018年3月21日
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
机器学习之确定最佳聚类数目的10种方法
炼数成金订阅号
13+阅读 · 2017年10月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月26日
Arxiv
0+阅读 · 1月17日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员