High-dimensional linear bandits with low-dimensional structure have received considerable attention in recent studies due to their practical significance. The most common structure in the literature is sparsity. However, it may not be available in practice. Symmetry, where the reward is invariant under certain groups of transformations on the set of arms, is another important inductive bias in the high-dimensional case that covers many standard structures, including sparsity. In this work, we study high-dimensional symmetric linear bandits where the symmetry is hidden from the learner, and the correct symmetry needs to be learned in an online setting. We examine the structure of a collection of hidden symmetry and provide a method based on model selection within the collection of low-dimensional subspaces. Our algorithm achieves a regret bound of $ O(d_0^{2/3} T^{2/3} \log(d))$, where $d$ is the ambient dimension which is potentially very large, and $d_0$ is the dimension of the true low-dimensional subspace such that $d_0 \ll d$. With an extra assumption on well-separated models, we can further improve the regret to $ O(d_0\sqrt{T\log(d)} )$.


翻译:高维线性老虎机因其低维结构在实际应用中的重要性,近年来受到广泛关注。文献中最常见的结构是稀疏性,然而在实际场景中稀疏性可能并不适用。对称性——即奖励在臂集合的某些变换群作用下保持不变——是高维情形下另一种重要的归纳偏置,它涵盖了许多标准结构,包括稀疏性。本文研究高维对称线性老虎机问题,其中对称性对学习者是隐藏的,需要在在线环境中学习正确的对称性。我们分析了隐藏对称性集合的结构,并提出了一种基于低维子空间集合内模型选择的方法。我们的算法实现了 $ O(d_0^{2/3} T^{2/3} \log(d))$ 的遗憾界,其中 $d$ 是可能非常大的环境维度,$d_0$ 是真实低维子空间的维度且满足 $d_0 \ll d$。在模型充分分离的额外假设下,我们可以进一步将遗憾改进为 $ O(d_0\sqrt{T\log(d)} )$。

0
下载
关闭预览

相关内容

【博士论文】利用图结构加速稀疏计算
专知会员服务
18+阅读 · 2025年3月6日
【牛津大学博士论文】机器学习中的对称性与泛化
专知会员服务
22+阅读 · 2025年1月8日
【纽约大学博士论文】对称神经网络理论,148页pdf
专知会员服务
41+阅读 · 2024年4月4日
稀疏大模型简述:从MoE、Sparse Attention到GLaM
夕小瑶的卖萌屋
14+阅读 · 2022年3月22日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
那些值得推荐和收藏的线性代数学习资源
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月15日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员