In modern Bayesian computation and parametric estimation, the marginal likelihood, serving as the denominator P(D) in Bayes' Theorem, is routinely bypassed via unnormalized proportionality relations. Even within specialized model-selection frameworks where it is explicitly evaluated to compute Bayes Factors, the denominator is treated purely as a static constant. This note evaluates a subtle analytical oversight resulting from this computational convenience. Through the analysis of a simplified, sequential partial-information system, we show that the marginal probability possesses a critical dual layer of information: while the posterior probability determines the local magnitude of a belief update upon a solitary trial, the marginal denominator governs the physical, long-run frequentist cadence of that update across a historical horizon. Discarding the denominator computes what an observer ought to believe once a specific dataset manifests, but erases the data-generating reality that governs how frequently that inferential state occurs in nature. We propose reclaiming the marginal likelihood as an active, real-time regularizer. We introduce three diagnostic measures to regulate recursive online estimation gains, and construct valid mixture probabilities that blend the prior and posterior to function as surprise-activated or conservative regulators. This paired probability framework may offer a robust regularizing mechanism for sequential estimation architectures and quantitative risk management scenarios under non-stationary distribution shifts.


翻译:暂无翻译

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
贝叶斯神经网络(系列)第一篇
AI研习社
14+阅读 · 2019年3月1日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
8+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
8+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
9+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
13+阅读 · 10月13日
相关VIP内容
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员