We introduce conserved active information $I^\oplus$, a symmetric extension of active information that quantifies net information gain/loss across the entire search space, respecting No-Free-Lunch conservation. Through Bernoulli and uniform-baseline examples, we show $I^\oplus$ reveals regimes hidden from KL divergence, such as when strong knowledge reduces global disorder. Such regimes are proven formally under uniform baseline, distinguishing disorder (increasing mild knowledge from order-imposing strong knowledge. We further illustrate these regimes with examples from Markov chains and cosmological fine-tuning. This resolves a longstanding critique of active information while enabling applications in search, optimization, and beyond.


翻译:本文引入守恒主动信息 $I^\oplus$,作为主动信息的一种对称扩展,用于量化整个搜索空间中的净信息增益或损失,并遵循无免费午餐守恒原理。通过伯努利分布与均匀基线示例,我们证明 $I^\oplus$ 能够揭示 KL 散度所无法反映的机制,例如当强知识降低全局无序度时的情况。在均匀基线条件下,这些机制被严格证明,从而区分了无序(由温和知识增加所引起)与有序(由强知识施加所引起)。我们进一步通过马尔可夫链和宇宙学精细调节的实例阐释了这些机制。这一工作解决了长期以来对主动信息的批评,同时使其在搜索、优化及其他领域中的应用成为可能。

0
下载
关闭预览

相关内容

【ICML2024】基于正则化的持续学习的统计理论
专知会员服务
21+阅读 · 2024年6月11日
专知会员服务
33+阅读 · 2021年7月27日
专知会员服务
17+阅读 · 2021年7月13日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
38+阅读 · 2021年6月3日
【WWW2021】场矩阵分解机推荐系统
专知会员服务
33+阅读 · 2021年2月27日
专知会员服务
42+阅读 · 2021年1月18日
专知会员服务
29+阅读 · 2020年10月2日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
62+阅读 · 2020年5月25日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
【NeurIPS2019】图变换网络:Graph Transformer Network
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月28日
Arxiv
0+阅读 · 1月26日
Arxiv
0+阅读 · 1月23日
Arxiv
0+阅读 · 1月17日
VIP会员
相关VIP内容
【ICML2024】基于正则化的持续学习的统计理论
专知会员服务
21+阅读 · 2024年6月11日
专知会员服务
33+阅读 · 2021年7月27日
专知会员服务
17+阅读 · 2021年7月13日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
38+阅读 · 2021年6月3日
【WWW2021】场矩阵分解机推荐系统
专知会员服务
33+阅读 · 2021年2月27日
专知会员服务
42+阅读 · 2021年1月18日
专知会员服务
29+阅读 · 2020年10月2日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
62+阅读 · 2020年5月25日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
【NeurIPS2019】图变换网络:Graph Transformer Network
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员