We present AUQ-ADMM, an adaptive uncertainty-weighted consensus ADMM method for solving large-scale convex optimization problems in a distributed manner. Our key contribution is a novel adaptive weighting scheme that empirically increases the progress made by consensus ADMM scheme and is attractive when using a large number of subproblems. The weights are related to the uncertainty associated with the solutions of each subproblem, and are efficiently computed using low-rank approximations. We show AUQ-ADMM provably converges and demonstrate its effectiveness on a series of machine learning applications, including elastic net regression, multinomial logistic regression, and support vector machines. We provide an implementation based on the PyTorch package.


翻译:我们提出AUQ-ADMM(AUQ-ADMM)这个适应性、不确定性加权共识ADMM(ADM)(AUQ-ADMM)(AUQ-ADMM)(ADM)(AUQ-ADM)(ADM)(AUQ-ADM)(AUQ-ADM)(ADM)(AUQ-ADM)(AUQ-ADM)(ADM)(AUQQ-ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM(ADM)(ADM)(ADM)(ADM(ADM)(ADM)(AUQQQ-ADM)(ADM)(ADM(ADM)(ADM)(ADM)(ADMM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(ADM)(AD

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2021年4月2日
专知会员服务
52+阅读 · 2020年12月14日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
40+阅读 · 2020年3月25日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
人工智能 | UAI 2019等国际会议信息4条
Call4Papers
6+阅读 · 2019年1月14日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
1+阅读 · 2021年10月25日
Arxiv
0+阅读 · 2021年10月25日
Arxiv
1+阅读 · 2021年10月24日
Arxiv
19+阅读 · 2020年7月13日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
4+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
9+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
相关资讯
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
人工智能 | UAI 2019等国际会议信息4条
Call4Papers
6+阅读 · 2019年1月14日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员