This paper considers an $N$-server distributed computing setting with $K$ users requesting functions that are arbitrary multivariable polynomial evaluations of $L$ real (potentially non-linear) basis subfunctions, where each function output is raised to a bounded power. Our aim is to seek efficient task allocation and data communication techniques that reduce computation and communication costs. To this end, we take a tensor-theoretic approach, in which we represent the requested non-linearly decomposable functions using a properly designed tensor $\bar{\mathcal{F}}$, whose sparse decomposition into a tensor $\bar{\mathcal{E}}$ and a matrix $\mathbf{D}$ directly defines the task assignment, connectivity, and communication patterns. We design a lossless achievable scheme that integrates fixed-support SVD-based tensor factorization with multi-dimensional tiling of $\bar{\mathcal{E}}$ and $\mathbf{D}$, followed by a bipartite graph matching-based recursive assignment of tiles. This step transforms an overlapping decomposition into a disjoint one and reduces the resulting sum rank of the tiles, thereby decreasing the number of required servers. Under mild dimensionality conditions, we derive an explicit zero-error characterization of the achievable system rate $K/N$. Numerical simulations demonstrate the computational and communication savings over existing state-of-the-art matrix factorization approaches across a wide range of system parameters.


翻译:本文考虑一个包含 $N$ 台服务器和 $K$ 个用户的分布式计算设置,其中用户请求的函数是 $L$ 个实值(可能为非线性的)基子函数的任意多元多项式求值,且每个函数输出的结果被提升至有界幂次。我们的目标是寻求高效的任务分配与数据通信技术,以降低计算和通信成本。为此,我们采用张量理论方法,通过精心设计的张量 $\bar{\mathcal{F}}$ 来表示所请求的非线性可分解函数;该张量稀疏分解为张量 $\bar{\mathcal{E}}$ 和矩阵 $\mathbf{D}$ 后,可直接定义任务分配、连接及通信模式。我们设计了一种无损可达方案,该方案将基于固定支撑奇异值分解(SVD)的张量分解技术与 $\bar{\mathcal{E}}$ 和 $\mathbf{D}$ 的多维分块相结合,随后通过基于二分图匹配的递归分块分配实现重叠分解向非重叠分解的转化,并降低所得分块的总秩,从而减少所需服务器数量。在适度的维度条件下,我们推导了系统可达速率 $K/N$ 的显式无差错特性。数值仿真表明,在广泛的系统参数范围内,该方法相比现有最先进的矩阵分解方法在计算和通信开销上均具有优势。

0
下载
关闭预览

相关内容

【干货书】分布式算法,371页pdf
专知会员服务
104+阅读 · 2022年12月15日
专知会员服务
48+阅读 · 2021年2月2日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
分布式核心技术知识图谱,带走不谢
架构师之路
12+阅读 · 2019年9月23日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
并行算法演进,从MapReduce到MPI
凡人机器学习
10+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员