We introduce a novel statistical measure for MCMC-mean estimation, the inter-trace variance ${\rm trv}^{(\tau_{rel})}({\cal M},f)$, which depends on a Markov chain ${\cal M}$ and a function $f:S\to [a,b]$. The inter-trace variance can be efficiently estimated from observed data and leads to a more efficient MCMC-mean estimator. Prior MCMC mean-estimators receive, as input, upper-bounds on $\tau_{mix}$ or $\tau_{rel}$, and often also the stationary variance, and their performance is highly dependent to the sharpness of these bounds. In contrast, we introduce DynaMITE, which dynamically adjusts the sample size, it is less sensitive to the looseness of input upper-bounds on $\tau_{rel}$, and requires no bound on $v_{\pi}$. Receiving only an upper-bound ${\cal T}_{rel}$ on $\tau_{rel}$, DynaMITE estimates the mean of $f$ in $\tilde{\cal{O}}\bigl(\smash{\frac{{\cal T}_{rel} R}{\varepsilon}}+\frac{\tau_{rel}\cdot {\rm trv}^{(\tau{{rel}})}}{\varepsilon^{2}}\bigr)$ steps, without a priori bounds on the stationary variance $v_{\pi}$ or the inter-trace variance ${\rm trv}^{(\tau rel)}$. Thus we depend minimally on the tightness of ${\cal T}_{mix}$, as the complexity is dominated by $\tau_{rel}\rm{trv}^{(\tau{rel})}$ as $\varepsilon \to 0$. Note that bounding $\tau_{\rm rel}$ is known to be prohibitively difficult, however, DynaMITE is able to reduce its principal dependence on ${\cal T}_{rel}$ to $\tau_{rel}$, simply by exploiting properties of the inter-trace variance. To compare our method to known variance-aware bounds, we show ${\rm trv}^{(\tau{rel})}({\cal M},f) \leq v_{\pi}$. Furthermore, we show when $f$'s image is distributed (semi)symmetrically on ${\cal M}$'s traces, we have ${\rm trv}^{({\tau{rel}})}({\cal M},f)=o(v_{\pi}(f))$, thus DynaMITE outperforms prior methods in these cases.


翻译:我们引入了一种新型的统计测量 MC 中值估算, 之前的 MC 中值估算, 作为输入, 上值 美元 或 美元 中值 美元 中值 美元 中值 美元 中值 美元 中值 美元 中值 美元 中值 中值 美元 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值 中值

0
下载
关闭预览

相关内容

专知会员服务
83+阅读 · 2021年7月31日
专知会员服务
168+阅读 · 2020年7月27日
机器学习速查手册,135页pdf
专知会员服务
345+阅读 · 2020年3月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
282+阅读 · 2019年10月9日
已删除
将门创投
3+阅读 · 2019年4月19日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
VIP会员
最新内容
“Maven计划”的发展演变之“Maven智能系统”应用
《无人机革命:来自俄乌战场的启示》(报告)
专知会员服务
5+阅读 · 今天6:48
《实现联合作战能力所需的技术》58页报告
专知会员服务
2+阅读 · 今天6:30
以色列运用人工智能优化空袭警报系统
专知会员服务
3+阅读 · 今天6:20
以色列在多条战线部署AI智能体
专知会员服务
4+阅读 · 今天6:12
2025年大语言模型进展报告
专知会员服务
19+阅读 · 4月25日
多智能体协作机制
专知会员服务
15+阅读 · 4月25日
相关VIP内容
专知会员服务
83+阅读 · 2021年7月31日
专知会员服务
168+阅读 · 2020年7月27日
机器学习速查手册,135页pdf
专知会员服务
345+阅读 · 2020年3月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
282+阅读 · 2019年10月9日
相关资讯
已删除
将门创投
3+阅读 · 2019年4月19日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员