We study the communication complexity of convex decentralized optimization over time-varying networks, where $n$ nodes hold private functions and must agree on the global minimizer using only synchronous exchanges with neighbors. The cost is the number of communication rounds to reach accuracy $\varepsilon$ -- a measure akin to round complexity in the LOCAL model, but constrained by nodes sharing only oracle responses. We prove a new lower bound of $Ω\!\left(χ_{\mathcal G} \sqrt{κ_g}\,\log\frac{n}{χ_{\mathcal G}}\log\frac1\varepsilon\right)$ communication rounds, where $χ_{\mathcal G}$ is the condition number of the network Laplacians and $κ_g$ that of the global objective, showing the round complexity attainable under uniform regularity cannot be matched in the nonuniform regime. The construction rests on spectral graph theory: we embed time-rotating star gadgets into the edges of an expander and patch them to preserve spectral connectivity.


翻译:我们研究时变网络上凸去中心化优化的通信复杂度,其中n个节点持有私有函数,必须仅通过与邻居的同步交换来达成全局极小值的一致。成本是达到精度ε所需的通信轮数——这一度量类似于LOCAL模型中的轮复杂度,但受限于节点仅共享预言机响应。我们证明了一个新的下界Ω(χ𝒢 √κ_g log(n/χ𝒢) log(1/ε))通信轮数,其中χ𝒢是网络拉普拉斯矩阵的条件数,κ_g是全局目标函数的条件数,这表明在均匀正则性下可达到的轮复杂度在非均匀情形下无法匹配。该构造基于谱图理论:我们将时间旋转星形结构嵌入到扩展图的边中,并通过修补来保持谱连通性。

0
下载
关闭预览

相关内容

【经典书】凸优化:算法与复杂度,130页pdf
专知会员服务
81+阅读 · 2021年11月16日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
112+阅读 · 2020年12月18日
专知会员服务
47+阅读 · 2020年11月13日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
232+阅读 · 2020年6月5日
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月6日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
6+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
8+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
13+阅读 · 8月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员