We introduce conserved active information $I^\oplus$, a symmetric extension of active information that quantifies net information gain/loss across the entire search space, respecting No-Free-Lunch conservation. Through Bernoulli and uniform-baseline examples, we show $I^\oplus$ reveals regimes hidden from KL divergence, such as when strong knowledge reduces global disorder. Such regimes are proven formally under uniform baseline, distinguishing disorder (increasing mild knowledge from order-imposing strong knowledge. We further illustrate these regimes with examples from Markov chains and cosmological fine-tuning. This resolves a longstanding critique of active information while enabling applications in search, optimization, and beyond.


翻译:本文引入守恒主动信息 $I^\oplus$,作为主动信息的一种对称扩展,用于量化整个搜索空间中的净信息增益或损失,并遵循无免费午餐守恒原理。通过伯努利分布与均匀基线示例,我们证明 $I^\oplus$ 能够揭示 KL 散度所无法反映的机制,例如当强知识降低全局无序度时的情况。在均匀基线条件下,这些机制被严格证明,从而区分了无序(由温和知识增加所引起)与有序(由强知识施加所引起)。我们进一步通过马尔可夫链和宇宙学精细调节的实例阐释了这些机制。这一工作解决了长期以来对主动信息的批评,同时使其在搜索、优化及其他领域中的应用成为可能。

0
下载
关闭预览

相关内容

专知会员服务
33+阅读 · 2021年7月27日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
38+阅读 · 2021年6月3日
专知会员服务
29+阅读 · 2020年10月2日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月6日
Arxiv
0+阅读 · 1月5日
Arxiv
0+阅读 · 1月3日
Arxiv
0+阅读 · 2025年12月31日
VIP会员
相关VIP内容
专知会员服务
33+阅读 · 2021年7月27日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
38+阅读 · 2021年6月3日
专知会员服务
29+阅读 · 2020年10月2日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关论文
Arxiv
0+阅读 · 1月6日
Arxiv
0+阅读 · 1月5日
Arxiv
0+阅读 · 1月3日
Arxiv
0+阅读 · 2025年12月31日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员