We study when the variable-indexed matrix of pairwise $f$-mutual informations $M^{(f)}_{ij} = I_f(X_i;X_j)$ is positive semidefinite (PSD). Let $f:(0,\infty)\to R$ be convex with $f(1)=0$, finite in a neighborhood of $1$, and with $f(0)<\infty$ so that diagonal terms are finite. We give a sharp local characterization around independence: there exists $δ=δ(f)>0$ such that for every $n$ and every finite-alphabet family $(X_1,\ldots,X_n)$ whose pairwise joint-to-product ratios lie in $(1-δ,1+δ)$, the matrix $M^{(f)}$ is PSD if and only if $f$ is analytic at $1$ with a convergent expansion $f(t)=\sum_{m\ge 2} a_m (t-1)^m$ and $a_m\ge 0$ on a neighborhood of $1$. Consequently, any negative Taylor coefficient yields an explicit finite-alphabet counterexample under arbitrarily weak dependence, and non-analytic convex divergences (e.g., total variation) are excluded. This PSD requirement is distinct from Hilbertian or metric properties of divergences between distributions (e.g., $\sqrt{JS}$): we study PSD of the variable-indexed mutual-information matrix. The proof combines a replica embedding that turns monomial terms into Gram matrices with a replica-forcing reduction to positive-definite dot-product kernels, enabling an application of the Schoenberg--Berg--Christensen--Ressel classification.


翻译:我们研究变量索引的成对$f$-互信息矩阵$M^{(f)}_{ij} = I_f(X_i;X_j)$何时为正半定(PSD)矩阵。设$f:(0,\infty)\to R$为凸函数,满足$f(1)=0$,在$1$的邻域内有限,且$f(0)<\infty$以保证对角项有限。我们给出了关于独立性的尖锐局部刻画:存在$δ=δ(f)>0$,使得对于任意$n$及任意有限字母表变量族$(X_1,\ldots,X_n)$,若其成对联合分布与乘积分布之比位于$(1-δ,1+δ)$区间内,则矩阵$M^{(f)}$为PSD当且仅当$f$在$1$处解析且具有收敛展开式$f(t)=\sum_{m\ge 2} a_m (t-1)^m$,且在$1$的邻域内满足$a_m\ge 0$。由此可得,任何负的泰勒系数都会在任意弱依赖条件下产生显式的有限字母表反例,而非解析的凸散度(例如总变差)则被排除。这种PSD要求不同于分布间散度的希尔伯特性或度量性质(例如$\sqrt{JS}$):我们研究的是变量索引互信息矩阵的PSD性。证明结合了将单项式项转化为格拉姆矩阵的副本嵌入技术,以及通过副本强制约简为正定点积核的方法,从而得以应用Schoenberg--Berg--Christensen--Ressel分类定理。

0
下载
关闭预览

相关内容

【博士论文】半结构化表格数据上的信息检索
专知会员服务
24+阅读 · 2025年9月7日
【NeurIPS 2021】学会学习图拓扑
专知会员服务
25+阅读 · 2021年10月22日
专知会员服务
42+阅读 · 2021年4月2日
专知会员服务
30+阅读 · 2021年2月17日
技术贴│R语言13种相关矩阵图
R语言中文社区
15+阅读 · 2018年11月26日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员