We consider the black-box optimization problem on a sphere. Two information-geometric optimization flows (IGO flows) are designed with rigorous calculation of natural search gradients based on hyperbolic (information) geometry of Poincar\' e and Bergman balls. We demonstrate that ensembles of generalized Kuramoto oscillators on spheres compute natural search gradients and realize IGO algorithms on both manifolds. The relationship between natural gradient policies in Bergman balls and quantum decision making is pointed out.


翻译:我们研究了球面上的黑盒优化问题。基于庞加莱和伯格曼球的双曲(信息)几何,通过严格计算自然搜索梯度,设计了两种信息几何优化流(IGO流)。我们证明,球面上广义Kuramoto振子系综能够计算自然搜索梯度,并在两个流形上实现IGO算法。同时指出了伯格曼球中的自然梯度策略与量子决策之间的关系。

0
下载
关闭预览

相关内容

信息几何[Ama16, AJLS17, Ama21]旨在解开概率分布族的几何结构,并研究它们在信息科学中的应用。信息学是将统计学、信息论、信号处理、机器学习和人工智能等重新组合起来的一个总称。信息几何是计量经济学家H. Hotelling(1930)和统计学家C. R. Rao(1945)出于数学上的好奇心而独立诞生的,他们考虑了概率分布的参数族,称为统计模型,是一种带有费雪度量张量的黎曼流形[Nie20]。信息几何通过使用微分几何的概念(如曲率)和张量微积分来解决问题。在他的开创性工作中,Rao考虑了流形上的黎曼测地距离和测地球来研究统计学中的分类和假设检验问题。
【2023新书】光滑流形上的优化引论,368页pdf
专知会员服务
56+阅读 · 2023年8月7日
几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
《通信和导航中的优化算法设计》美国空军研究实验室
专知会员服务
41+阅读 · 2022年8月19日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
入门 | 深度学习模型的简单优化技巧
机器之心
10+阅读 · 2018年6月10日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月12日
Arxiv
0+阅读 · 3月27日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
【2023新书】光滑流形上的优化引论,368页pdf
专知会员服务
56+阅读 · 2023年8月7日
几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
《通信和导航中的优化算法设计》美国空军研究实验室
专知会员服务
41+阅读 · 2022年8月19日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员