We investigate the stochastic Thresholding Bandit problem (TBP) under several shape constraints. On top of (i) the vanilla, unstructured TBP, we consider the case where (ii) the sequence of arm's means $(\mu_k)_k$ is monotonically increasing MTBP, (iii) the case where $(\mu_k)_k$ is unimodal UTBP and (iv) the case where $(\mu_k)_k$ is concave CTBP. In the TBP problem the aim is to output, at the end of the sequential game, the set of arms whose means are above a given threshold. The regret is the highest gap between a misclassified arm and the threshold. In the fixed budget setting, we provide problem independent minimax rates for the expected regret in all settings, as well as associated algorithms. We prove that the minimax rates for the regret are (i) $\sqrt{\log(K)K/T}$ for TBP, (ii) $\sqrt{\log(K)/T}$ for MTBP, (iii) $\sqrt{K/T}$ for UTBP and (iv) $\sqrt{\log\log K/T}$ for CTBP, where $K$ is the number of arms and $T$ is the budget. These rates demonstrate that the dependence on $K$ of the minimax regret varies significantly depending on the shape constraint. This highlights the fact that the shape constraints modify fundamentally the nature of the TBP.


翻译:我们调查了几个形状限制下的盗匪问题(TBP)。在(一) 香草、无结构的TBP中,我们考虑的是:(二) 手臂的顺序意味着$(mu_k)_k美元,这是单质增加的MTBP,(三) 美元(mu_k)_k美元是单式UTBP,(四) 美元(mu_k)_k美元是同质的CTBP。在TBP问题中,目标是输出,在连续游戏结束时,一套手段超过给定阈值的武器。遗憾是错分类的手臂和阈值之间的最大差距。在固定的预算设置中,我们为所有环境中的预期遗憾提供独立的微缩税率,以及相关的算法。我们证明,对于TBP, 美元(k) 美元(K) K/TBP 的最小税率是(K) 美元(K) 和 美元(KBBP) 美元(K) 和 美元(K) 美元(K/T) 的硬度(K) 美元(K) 预算的缩数(K) 美元(K) 和美元/ 美元/美元) 美元(KBBPT) 的硬值是。

0
下载
关闭预览

相关内容

Python编程基础,121页ppt
专知会员服务
49+阅读 · 2021年1月1日
5G边缘计算的价值机遇
专知会员服务
67+阅读 · 2020年8月17日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
112+阅读 · 2020年5月15日
【新书】Python编程基础,669页pdf
专知会员服务
197+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
已删除
将门创投
5+阅读 · 2017年11月22日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
0+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关VIP内容
Python编程基础,121页ppt
专知会员服务
49+阅读 · 2021年1月1日
5G边缘计算的价值机遇
专知会员服务
67+阅读 · 2020年8月17日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
112+阅读 · 2020年5月15日
【新书】Python编程基础,669页pdf
专知会员服务
197+阅读 · 2019年10月10日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
已删除
将门创投
5+阅读 · 2017年11月22日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员