The information bottleneck (IB) method seeks a compressed representation of data that preserves information relevant to a target variable for prediction while discarding irrelevant information from the original data. In its classical formulation, the IB method employs mutual information to evaluate the compression between the original and compressed data and the utility of the representation for the target variable. In this study, we investigate a generalized IB problem, where the evaluation of utility is based on the $\mathcal{H}$-mutual information that satisfies the concave (\texttt{CV}) and averaging (\texttt{AVG}) conditions. This class of information measures admits a statistical decision-theoretic interpretation via its equivalence to the expected value of sample information. Based on this interpretation, we derive an alternating optimization algorithm to assess the tradeoff between compression and utility in the generalized IB problem.


翻译:信息瓶颈(IB)方法旨在寻找数据的压缩表示,该表示需保留与目标变量预测相关的信息,同时舍弃原始数据中的无关信息。在其经典表述中,IB方法使用互信息来评估原始数据与压缩数据之间的压缩程度,以及表示对目标变量的效用。本研究探讨了一个广义IB问题,其中效用的评估基于满足凹性(\texttt{CV})与平均性(\texttt{AVG})条件的$\mathcal{H}$-互信息。此类信息度量可通过其与样本信息期望值的等价性,获得一种统计决策理论的解释。基于这一解释,我们推导出一种交替优化算法,以评估广义IB问题中压缩与效用之间的权衡关系。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】表示学习中的信息理论
专知会员服务
23+阅读 · 2025年7月18日
【博士论文】信息论视角下的泛化理论方法,274页pdf
专知会员服务
51+阅读 · 2024年4月28日
【干货书】数据科学中的信息理论方法
专知会员服务
97+阅读 · 2022年6月27日
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
26+阅读 · 2022年1月15日
专知会员服务
56+阅读 · 2021年8月29日
【AAAI2021】信息瓶颈和有监督表征解耦
专知会员服务
21+阅读 · 2021年1月27日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
从信息瓶颈理论一瞥机器学习的“大一统理论”
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
42+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Disentangled Information Bottleneck
Arxiv
12+阅读 · 2020年12月22日
VIP会员
最新内容
新兴反无人机技术与不对称防御对策
专知会员服务
1+阅读 · 19分钟前
《美空军条令出版物 3-60,目标定位(2026版)》
专知会员服务
1+阅读 · 25分钟前
《无人机在冲突地区提供紧急医疗与外科支持》
专知会员服务
1+阅读 · 43分钟前
《定向能武器交战授权治理管道》
专知会员服务
1+阅读 · 50分钟前
《人工智能与海军作战》最新报告
专知会员服务
1+阅读 · 今天14:00
具身AI安全综述:风险、攻击与防御
专知会员服务
2+阅读 · 今天12:02
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
13+阅读 · 5月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
42+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员