To expand the applicability of decentralized online learning, previous studies have proposed several algorithms for decentralized online continuous submodular maximization (D-OCSM) -- a non-convex/non-concave setting with continuous DR-submodular reward functions. However, there exist large gaps between their approximate regret bounds and the regret bounds achieved in the convex setting. Moreover, if focusing on projection-free algorithms, which can efficiently handle complex decision sets, they cannot even recover the approximate regret bounds achieved in the centralized setting. In this paper, we first demonstrate that for D-OCSM over general convex decision sets, these two issues can be addressed simultaneously. Furthermore, for D-OCSM over downward-closed decision sets, we show that the second issue can be addressed while significantly alleviating the first issue. Our key techniques are two reductions from D-OCSM to decentralized online convex optimization (D-OCO), which can exploit D-OCO algorithms to improve the approximate regret of D-OCSM in these two cases, respectively.


翻译:为拓展分散式在线学习的应用范围,先前研究已针对分散式在线连续子模最大化(D-OCSM)——一种具有连续DR-子模奖励函数的非凸/非凹设定——提出了若干算法。然而,其近似遗憾界与凸设定下取得的遗憾界之间存在较大差距。此外,若聚焦于能高效处理复杂决策集的无投影算法,它们甚至无法复现集中式设定下取得的近似遗憾界。本文首先证明,对于一般凸决策集上的D-OCSM,这两个问题可被同步解决。进一步地,对于向下封闭决策集上的D-OCSM,我们表明第二个问题可被解决,同时第一个问题能得到显著缓解。我们的核心技术是两种从D-OCSM到分散式在线凸优化(D-OCO)的归约方法,它们能分别利用D-OCO算法在这两种情形下改进D-OCSM的近似遗憾界。

0
下载
关闭预览

相关内容

用于强化学习的扩散模型:基础、分类与发展
专知会员服务
24+阅读 · 2025年10月15日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
专知会员服务
19+阅读 · 2021年4月3日
专知会员服务
44+阅读 · 2020年9月25日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
谷歌EfficientNet缩放模型,PyTorch实现登热榜
机器学习算法与Python学习
11+阅读 · 2019年6月4日
超全总结:神经网络加速之量化模型 | 附带代码
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
4+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
9+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
16+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
17+阅读 · 10月15日
相关VIP内容
用于强化学习的扩散模型:基础、分类与发展
专知会员服务
24+阅读 · 2025年10月15日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
专知会员服务
19+阅读 · 2021年4月3日
专知会员服务
44+阅读 · 2020年9月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员