We study the problem of maximizing R{é}nyi entropy of order $2$ (equivalently, minimizing the index of coincidence) over the set of joint distributions with prescribed marginals. A closed-form optimizer is known under a feasibility condition on the marginals; we show that this condition is highly restrictive. We then provide an explicit construction of an optimal coupling for arbitrary marginals. Our approach characterizes the optimizer's structure and yields an iterative algorithm that terminates in finite time, returning an exact solution after at most $p-1$ updates, where $p$ is the number of rows.


翻译:我们研究了在具有指定边际分布的联合分布集合上最大化二阶Rényi熵(等价于最小化重合指数)的问题。已知在边际分布满足可行性条件下存在闭式最优解;我们证明该条件具有高度限制性。随后,我们针对任意边际分布给出了最优耦合的显式构造方法。我们的方法通过刻画最优解的结构,提出了一种有限步终止的迭代算法,该算法最多经过$p-1$次更新即可返回精确解,其中$p$表示行数。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】带约束学习的优化算法
专知会员服务
19+阅读 · 2025年4月4日
【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
27+阅读 · 2022年10月23日
通过条件梯度进行结构化机器学习训练,50页ppt与视频
专知会员服务
13+阅读 · 2021年2月25日
专知会员服务
44+阅读 · 2020年9月25日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
最大熵原理(一)
深度学习探索
12+阅读 · 2017年8月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月2日
Arxiv
0+阅读 · 1月31日
Arxiv
0+阅读 · 1月12日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员