We study Constrained Online Convex Optimization (COCO), where a learner chooses actions iteratively, observes both unanticipated convex loss and convex constraint, and accumulates loss while incurring penalties for constraint violations. We introduce CLASP (Convex Losses And Squared Penalties), an algorithm that minimizes cumulative loss together with squared constraint violations. Our analysis departs from prior work by fully leveraging the firm non-expansiveness of convex projectors, a proof strategy not previously applied in this setting. For convex losses, CLASP achieves regret $O\left(T^{\max\{β,1-β\}}\right)$ and cumulative squared penalty $O\left(T^{1-β}\right)$ for any $β\in (0,1)$. Most importantly, for strongly convex problems, CLASP provides the first logarithmic guarantees on both regret and cumulative squared penalty. In the strongly convex case, the regret is upper bounded by $O( \log T )$ and the cumulative squared penalty is also upper bounded by $O( \log T )$.


翻译:本文研究约束在线凸优化问题,其中学习者迭代选择行动,同时观测未预期的凸损失与凸约束,在累积损失的同时还需承担约束违反带来的惩罚。我们提出CLASP算法,该算法旨在最小化累积损失与约束违反的平方惩罚之和。我们的分析区别于先前工作,其核心在于充分利用凸投影算子的强非扩张性——这一证明策略此前未在该研究背景下应用。对于凸损失函数,CLASP对任意$β\in (0,1)$可实现$O\left(T^{\max\{β,1-β\}}\right)$的遗憾界与$O\left(T^{1-β}\right)$的累积平方惩罚界。最重要的是,对于强凸问题,CLASP首次在遗憾与累积平方惩罚两方面同时取得对数级保证。在强凸情形下,遗憾上界为$O( \log T )$,累积平方惩罚上界亦为$O( \log T )$。

0
下载
关闭预览

相关内容

机器学习必读新书-《凸优化算法原理详解》,334页pdf
专知会员服务
97+阅读 · 2022年1月4日
专知会员服务
42+阅读 · 2021年4月2日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
PyTorch实现多种深度强化学习算法
专知
36+阅读 · 2019年1月15日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
机器学习必读新书-《凸优化算法原理详解》,334页pdf
专知会员服务
97+阅读 · 2022年1月4日
专知会员服务
42+阅读 · 2021年4月2日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员