We consider the adversarial linear bandits setting and present a unified algorithmic framework that bridges Follow-the-Regularized-Leader (FTRL) and Follow-the-Perturbed-Leader (FTPL) methods, extending the known connection between them from the full-information setting. Within this framework, we introduce self-concordant perturbations, a family of probability distributions that mirror the role of self-concordant barriers previously employed in the FTRL-based SCRiBLe algorithm. Using this idea, we design a novel FTPL-based algorithm that combines self-concordant regularization with efficient stochastic exploration. Our approach achieves a regret of $\mathcal{O}(d\sqrt{n \ln n})$ on both the $d$-dimensional hypercube and the $\ell_2$ ball. On the $\ell_2$ ball, this matches the rate attained by SCRiBLe. For the hypercube, this represents a $\sqrt{d}$ improvement over these methods and matches the optimal bound up to logarithmic factors.


翻译:我们考虑对抗性线性赌博机设置,并提出一个统一的算法框架,该框架连接了跟随正则化领导者(FTRL)与跟随扰动领导者(FTPL)方法,将二者之间已知的联系从完全信息设置推广到当前场景。在此框架内,我们引入了自协调扰动——一族概率分布,其作用类似于先前在基于FTRL的SCRiBLe算法中使用的自协调障碍函数。利用这一思想,我们设计了一种新颖的基于FTPL的算法,将自协调正则化与高效的随机探索相结合。我们的方法在$d$维超立方体和$\ell_2$球上均实现了$\mathcal{O}(d\sqrt{n \ln n})$的遗憾界。在$\ell_2$球上,该结果与SCRiBLe算法达到的速率一致。对于超立方体,这相比现有方法实现了$\sqrt{d}$的改进,并在对数因子范围内达到了最优界。

0
下载
关闭预览

相关内容

专知会员服务
20+阅读 · 2021年8月5日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
Self-Attention GAN 中的 self-attention 机制
PaperWeekly
12+阅读 · 2019年3月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月16日
Arxiv
0+阅读 · 1月14日
VIP会员
相关VIP内容
专知会员服务
20+阅读 · 2021年8月5日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员