Coded computing has demonstrated promising results in addressing straggler resiliency in distributed computing systems. However, most coded computing schemes are designed for exact computation, requiring the number of responding servers to exceed a certain recovery threshold. Additionally, these schemes are tailored for highly structured functions. Recently, new coded computing schemes for general computing functions, where exact computation is replaced with approximate computation, have emerged. In these schemes, the availability of additional results corresponds to more accurate estimation of computational tasks. This flexibility introduces new questions that need to be addressed. This paper addresses the practically important scenario in the context of general coded computing, where each server may become a straggler with a probability $p$, independently from others. We theoretically analyze the approximation error of two existing general coded computing schemes: Berrut Approximate Coded Computing (BACC) and Learning Theoretic Coded Computing (LeTCC). Under the probabilistic straggler configuration, we demonstrate that the average approximation error for BACC and LeTCC converge to zero with the rate of at least $\mathcal{O}(\log^3_{\frac{1}{p}}(N)\cdot{N^{-3}})$ and $\mathcal{O}(\log^4_{\frac{1}{p}}(N)\cdot{N^{-2}})$, respectively. This is perhaps surprising, as earlier results does not indicate a convergence when the number of stragglers scales with the total number of servers $N$. However, in this case, despite the average number of stragglers being $Np$, the independence of servers in becoming stragglers allows the approximation error to converge to zero. These theoretical results are validated through experiments on various computing functions, including deep neural networks.


翻译:编码计算已在分布式计算系统中展现出应对拖延者问题的显著效果。然而,多数编码计算方案针对精确计算设计,要求响应服务器数量超过特定恢复阈值。此外,这些方案仅适用于高度结构化的函数。近年来,面向一般计算函数的新型编码计算方案应运而生,将精确计算替换为近似计算。在此类方案中,额外计算结果的获取可提升计算任务的估计精度,这种灵活性带来了需要解决的新问题。本文针对一般性编码计算中的实际重要场景展开研究:每个服务器独立地以概率$p$成为拖延者。我们理论分析了两种现有一般性编码计算方案——伯鲁特近似编码计算(BACC)与学习理论编码计算(LeTCC)——的近似误差。在概率性拖延者配置下,我们证明BACC和LeTCC的平均近似误差分别以至少$\mathcal{O}(\log^3_{\frac{1}{p}}(N)\cdot{N^{-3}})$和$\mathcal{O}(\log^4_{\frac{1}{p}}(N)\cdot{N^{-2}})$的速率收敛至零。这一结果可能令人意外,因为先前的研究并未表明当拖延者数量随服务器总数$N$增长时存在收敛性。然而,在本场景中尽管平均拖延者数量为$Np$,但服务器成为拖延者的独立性使得近似误差仍能收敛至零。这些理论结果通过包括深度神经网络在内的多种计算函数实验得到了验证。

0
下载
关闭预览

相关内容

【剑桥大学-算法手册】Advanced Algorithms, Artificial Intelligence
专知会员服务
36+阅读 · 2024年11月11日
【新书】《实用概率编程》,458页pdf
专知会员服务
54+阅读 · 2024年10月23日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
56+阅读 · 2022年11月2日
【2022新书】机器学习中的概率数值计算,412页pdf
专知会员服务
93+阅读 · 2022年7月7日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
37+阅读 · 2021年10月16日
专知会员服务
32+阅读 · 2021年1月9日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
综述:军事应用中使用的一些重要算法
专知
13+阅读 · 2022年7月3日
机器学习领域必知必会的12种概率分布(附Python代码实现)
算法与数学之美
21+阅读 · 2019年10月18日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
【干货】深入理解自编码器(附代码实现)
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月30日
Arxiv
0+阅读 · 3月31日
VIP会员
相关主题
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关VIP内容
【剑桥大学-算法手册】Advanced Algorithms, Artificial Intelligence
专知会员服务
36+阅读 · 2024年11月11日
【新书】《实用概率编程》,458页pdf
专知会员服务
54+阅读 · 2024年10月23日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
56+阅读 · 2022年11月2日
【2022新书】机器学习中的概率数值计算,412页pdf
专知会员服务
93+阅读 · 2022年7月7日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
37+阅读 · 2021年10月16日
专知会员服务
32+阅读 · 2021年1月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员