We consider the design of smoothings of the (coordinate-wise) max function in $\mathbb{R}^d$ in the infinity norm. The LogSumExp function $f(x)=\ln(\sum^d_i\exp(x_i))$ provides a classical smoothing, differing from the max function in value by at most $\ln(d)$. We provide an elementary construction of a lower bound, establishing that every overestimating smoothing of the max function must differ by at least $\sim 0.8145\ln(d)$. Hence, LogSumExp is optimal up to small constant factors. However, in small dimensions, we provide stronger, exactly optimal smoothings attaining our lower bound, showing that the entropy-based LogSumExp approach to smoothing is not exactly optimal.


翻译:我们考虑在无穷范数下设计$\mathbb{R}^d$中(坐标方向)最大值函数的平滑逼近。LogSumExp函数$f(x)=\ln(\sum^d_i\exp(x_i))$提供了一个经典平滑方法,其与最大值函数的数值差异不超过$\ln(d)$。我们通过初等方法构造了一个下界,证明任何对最大值函数的高估平滑逼近至少会产生$\sim 0.8145\ln(d)$的差异。因此,LogSumExp在常数因子意义下是最优的。然而,在低维情形中,我们给出了更强且精确最优的平滑方法,能够达到我们的下界,这表明基于熵的LogSumExp平滑方法并非精确最优。

0
下载
关闭预览

相关内容

《利用近端策略优化估计最佳飞行轨迹》最新140页
专知会员服务
21+阅读 · 2024年11月14日
专知会员服务
44+阅读 · 2020年9月25日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
21+阅读 · 2019年12月31日
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
机器学习常见模式LogSumExp解密
论智
21+阅读 · 2018年10月30日
用于数学的 10 个优秀编程语言
算法与数据结构
13+阅读 · 2018年1月5日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月13日
VIP会员
相关VIP内容
《利用近端策略优化估计最佳飞行轨迹》最新140页
专知会员服务
21+阅读 · 2024年11月14日
专知会员服务
44+阅读 · 2020年9月25日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
21+阅读 · 2019年12月31日
相关资讯
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
机器学习常见模式LogSumExp解密
论智
21+阅读 · 2018年10月30日
用于数学的 10 个优秀编程语言
算法与数据结构
13+阅读 · 2018年1月5日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员