This work establishes the fundamental limits of the classical problem of multi-user distributed computing of linearly separable functions. In particular, we consider a distributed computing setting involving $L$ users, each requesting a linearly separable function over $K$ basis subfunctions from a master node, who is assisted by $N$ distributed servers. At the core of this problem lies a fundamental tradeoff between communication and computation: each server can compute up to $M$ subfunctions, and each server can communicate linear combinations of their locally computed subfunctions outputs to at most $Δ$ users. The objective is to design a distributed computing scheme that reduces the communication cost (total amount of data from servers to users), and towards this, for any given $K$, $L$, $M$, and $Δ$, we propose a distributed computing scheme that jointly designs the task assignment and transmissions, and shows that the scheme achieves optimal performance in the real field under various conditions using a novel converse. We also characterize the performance of the scheme in the finite field using another converse based on counting arguments.


翻译:本文建立了线性可分函数多用户分布式计算这一经典问题的基本极限。具体而言,我们考虑一个包含 $L$ 个用户的分布式计算场景,每个用户向主节点请求基于 $K$ 个基本子函数的线性可分函数,主节点由 $N$ 个分布式服务器协助。该问题的核心在于通信与计算之间的基本权衡:每个服务器最多可计算 $M$ 个子函数,且每个服务器最多可向 $Δ$ 个用户传输其本地计算子函数输出的线性组合。目标是设计一种能降低通信成本(从服务器到用户的总数据量)的分布式计算方案。为此,针对任意给定的 $K$、$L$、$M$ 和 $Δ$,我们提出了一种联合设计任务分配与传输策略的分布式计算方案,并通过新颖的逆定理证明了该方案在实数域下多种条件下达到最优性能。此外,我们基于计数论证的另一逆定理刻画了该方案在有限域下的性能表现。

0
下载
关闭预览

相关内容

分布式多智能体网络定位的线性理论与算法综述
专知会员服务
24+阅读 · 2024年3月15日
【牛津大学博士论文】可微分编程的结构基础,176页pdf
专知会员服务
26+阅读 · 2023年8月20日
【干货书】计算机科学基础数学:可视化方法,519页pdf
专知会员服务
87+阅读 · 2023年2月9日
【干货书】计算机科学离散数学,627页pdf
专知
64+阅读 · 2020年8月31日
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
分布式多智能体网络定位的线性理论与算法综述
专知会员服务
24+阅读 · 2024年3月15日
【牛津大学博士论文】可微分编程的结构基础,176页pdf
专知会员服务
26+阅读 · 2023年8月20日
【干货书】计算机科学基础数学:可视化方法,519页pdf
专知会员服务
87+阅读 · 2023年2月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员