We resolve the min-max complexity of distributed stochastic convex optimization (up to a log factor) in the intermittent communication setting, where $M$ machines work in parallel over the course of $R$ rounds of communication to optimize the objective, and during each round of communication, each machine may sequentially compute $K$ stochastic gradient estimates. We present a novel lower bound with a matching upper bound that establishes an optimal algorithm.


翻译:我们解决了间歇通信环境中分布式蒸馏孔雀优化(最高为一个日志系数)的最小复杂性,在这种环境中,机器在以R$为单位的通信周期中平行工作,以优化目标;在每轮通信中,每台机器可按顺序计算以K$为单位的蒸馏梯度估计值。 我们提出了一个新颖的下限,配有匹配的上限,以建立最佳算法。

0
下载
关闭预览

相关内容

专知会员服务
83+阅读 · 2021年7月31日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
专知会员服务
44+阅读 · 2020年9月25日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
113+阅读 · 2020年5月15日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
【新书】Python编程基础,669页pdf
专知会员服务
199+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
283+阅读 · 2019年10月9日
从GE工业互联网到中国工业互联网
未来产业促进会
4+阅读 · 2019年5月5日
已删除
将门创投
4+阅读 · 2018年11月15日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
1+阅读 · 今天15:13
面向最后一战术英里:美军无人机创新尝试
专知会员服务
1+阅读 · 今天14:52
《美空军2026条令文件:对海压制作战》
专知会员服务
25+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
12+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
13+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
10+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
7+阅读 · 11月6日
相关VIP内容
专知会员服务
83+阅读 · 2021年7月31日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
专知会员服务
44+阅读 · 2020年9月25日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
113+阅读 · 2020年5月15日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
【新书】Python编程基础,669页pdf
专知会员服务
199+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
283+阅读 · 2019年10月9日
相关资讯
从GE工业互联网到中国工业互联网
未来产业促进会
4+阅读 · 2019年5月5日
已删除
将门创投
4+阅读 · 2018年11月15日
Top
微信扫码咨询专知VIP会员