Convex Optimization with Nested Evolving Feasible Sets (CONES)} is considered where the objective function $f$ remains fixed but the feasible region evolves over time as a nested sequence $S_1 \supseteq S_2 \supseteq \cdots \supseteq S_T$. The goal of an online algorithm is to simultaneously minimize the regret with respect to hindsight static optimal benchmark and the total movement cost while ensuring feasibility at all times. CONES is an optimization-oriented generalization of the well-known nested convex body chasing problem. When the loss function is convex, we propose a lazy-algorithm and show that it achieves $O(T^{1-β}), O(T^β)$ simultaneous regret and movement cost for any $β\in (0,1]$, over a time horizon of $T$. When the loss function is strongly convex or $α$-sharp, we propose an algorithm Frugal that simultaneously achieves zero regret and a movement cost of $O(\log T)$. To complement this, we show that any online algorithm with $o(T)$ regret has a movement cost of $Ω(\log{T})$ for both cases, proving optimality of Frugal.


翻译:具有嵌套演化可行集的凸优化(CONES)问题中,目标函数$f$固定不变,但可行域随时间演化为嵌套序列$S_1 \supseteq S_2 \supseteq \cdots \supseteq S_T$。在线算法的目标是在保证各时刻可行性的前提下,同时最小化相对于事后静态最优基准的遗憾值和总移动成本。CONES是著名的嵌套凸体追踪问题的优化导向泛化。当损失函数为凸函数时,我们提出一种惰性算法,并证明其在时间范围$T$内对任意$β\in (0,1]$可实现$O(T^{1-β})$的遗憾值和$O(T^β)$的移动成本。当损失函数为强凸或$α$-锐利时,我们提出Frugal算法,该算法同时实现零遗憾值和$O(\log T)$的移动成本。作为补充,我们证明在两种情形下,任何具有$o(T)$遗憾值的在线算法其移动成本至少为$Ω(\log{T})$,从而证实了Frugal的最优性。

0
下载
关闭预览

相关内容

机器学习必读新书-《凸优化算法原理详解》,334页pdf
专知会员服务
97+阅读 · 2022年1月4日
【经典书】凸优化:算法与复杂度,130页pdf
专知会员服务
81+阅读 · 2021年11月16日
【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
112+阅读 · 2020年12月18日
斯坦福EE364a《凸优化》课件,301页ppt
专知会员服务
100+阅读 · 2020年7月14日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
231+阅读 · 2020年6月5日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
9+阅读 · 6月15日
相关VIP内容
机器学习必读新书-《凸优化算法原理详解》,334页pdf
专知会员服务
97+阅读 · 2022年1月4日
【经典书】凸优化:算法与复杂度,130页pdf
专知会员服务
81+阅读 · 2021年11月16日
【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
112+阅读 · 2020年12月18日
斯坦福EE364a《凸优化》课件,301页ppt
专知会员服务
100+阅读 · 2020年7月14日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
231+阅读 · 2020年6月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员