Let $\mathcal{A}$ be a Las Vegas algorithm, i.e. an algorithm whose running time $T$ is a random variable drawn according to a certain probability distribution $p$. In 1993, Luby, Sinclair and Zuckerman [LSZ93] proved that a simple universal restart strategy can, for any probability distribution $p$, provide an algorithm executing $\mathcal{A}$ and whose expected running time is $O(\ell^\star_p\log\ell^\star_p)$, where $\ell^\star_p=\Theta\left(\inf_{q\in (0,1]}Q_p(q)/q\right)$ is the minimum expected running time achievable with full prior knowledge of the probability distribution $p$, and $Q_p(q)$ is the $q$-quantile of $p$. Moreover, the authors showed that the logarithmic term could not be removed for universal restart strategies and was, in a certain sense, optimal. In this work, we show that, quite surprisingly, the logarithmic term can be replaced by a smaller quantity, thus reducing the expected running time in practical settings of interest. More precisely, we propose a novel restart strategy that executes $\mathcal{A}$ and whose expected running time is $O\big(\inf_{q\in (0,1]}\frac{Q_p(q)}{q}\,\psi\big(\log Q_p(q),\,\log (1/q)\big)\big)$ where $\psi(a,b)=1+\min\left\{a+b,a\log^2 a,\,b\log^2 b\right\}$. This quantity is, up to a multiplicative factor, better than: 1) the universal restart strategy of [LSZ93], 2) any $q$-quantile of $p$ for $q\in(0,1]$, 3) the original algorithm, and 4) any quantity of the form $\phi^{-1}(\mathbb{E}[\phi(T)])$ for a large class of concave functions $\phi$. The latter extends the recent restart strategy of [Zam22] achieving $O\left(e^{\mathbb{E}[\ln(T)]}\right)$, and can be thought of as algorithmic reverse Jensen's inequalities. Finally, we show that the behavior of $\frac{t\phi''(t)}{\phi'(t)}$ at infinity controls the existence of reverse Jensen's inequalities by providing a necessary and a sufficient condition for these inequalities to hold.


翻译:设 $\mathcal{A}$ 为拉斯维加斯算法,其运行时间 $T$ 为服从概率分布 $p$ 的随机变量。1993 年,Luby、Sinclair 与 Zuckerman [LSZ93] 证明了:针对任意概率分布 $p$,存在一种简单通用重启策略,使得执行 $\mathcal{A}$ 的算法之期望运行时间为 $O(\ell^\star_p\log\ell^\star_p)$,其中 $\ell^\star_p=\Theta\left(\inf_{q\in (0,1]}Q_p(q)/q\right)$ 为完全已知概率分布 $p$ 的先验信息时可达到的最小期望运行时间,且 $Q_p(q)$ 表示 $p$ 的 $q$ 分位数。此外,作者指出通用重启策略无法消除对数项,且该对数项在特定意义上已是最优。在本工作中,我们出人意料地发现:对数项可被更小的量替代,从而在实际场景中缩减期望运行时间。具体而言,我们提出一种执行 $\mathcal{A}$ 的新重启策略,其期望运行时间为 $O\big(\inf_{q\in (0,1]}\frac{Q_p(q)}{q}\,\psi\big(\log Q_p(q),\,\log (1/q)\big)\big)$,其中 $\psi(a,b)=1+\min\left\{a+b,a\log^2 a,\,b\log^2 b\right\}$。该量在乘法因子意义下优于:1) [LSZ93] 的通用重启策略;2) 任意 $q\in(0,1]$ 对应的 $p$ 的 $q$ 分位数;3) 原始算法本身;4) 对一类广泛凹函数 $\phi$ 成立的形如 $\phi^{-1}(\mathbb{E}[\phi(T)])$ 的任何量。最后一项推广了 [Zam22] 中实现 $O\left(e^{\mathbb{E}[\ln(T)]}\right)$ 的重启策略,可视为算法形式的反向延森不等式。我们进一步通过给出这些不等式成立的充要条件,证明了 $\frac{t\phi''(t)}{\phi'(t)}$ 在无穷远处的行为决定了反向延森不等式的存在性。

0
下载
关闭预览

相关内容

7篇ICLR 2022杰出论文奖出炉,清华朱军教授课题组摘获
专知会员服务
30+阅读 · 2022年4月22日
【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
令人沮丧的C++性能调试
InfoQ
0+阅读 · 2022年10月24日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
RL解决'LunarLander-v2' (SOTA)
CreateAMind
62+阅读 · 2019年9月27日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年6月6日
Arxiv
0+阅读 · 2023年6月5日
Arxiv
0+阅读 · 2023年6月2日
Arxiv
0+阅读 · 2023年6月1日
VIP会员
最新内容
《多域战场上反制小型无人机系统》150页
专知会员服务
9+阅读 · 今天7:47
战场人工智能:增强陆地作战能力的发现与要求
专知会员服务
2+阅读 · 今天7:37
以人工智能为中心的指挥控制
专知会员服务
1+阅读 · 今天7:14
《基于深度强化学习的反无人机技术研究》178页
专知会员服务
11+阅读 · 6月10日
“史诗怒火”行动与“AI中心战”模式的浮现
专知会员服务
11+阅读 · 6月10日
【CVPR2026教程】扩散模型的解析理解
专知会员服务
5+阅读 · 6月10日
马赛克战:俄乌战场透析
专知会员服务
16+阅读 · 6月10日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员