Convex functionals are ubiquitous in applied analysis, appearing as value functions, risk measures, super-hedging prices, and loss functionals in machine learning. In many applications, however, the functional is only observed through finitely many exact pointwise evaluations. We ask whether a convex functional on a separable Hilbert space $H$ can be reconstructed, up to arbitrary uniform accuracy, by an explicit formula which preserves convexity and Lipschitz regularity and is finitely computable. We answer this affirmatively. For every compact convex $C\subseteq H$, every $L$-Lipschitz convex functional $ρ:C\to\mathbb{R}$, and every $\varepsilon>0$, we construct an explicit finite-sample reconstruction which is convex, $L$-Lipschitz, and uniformly $\varepsilon$-accurate on $C$. The construction uses only finitely many linear measurements $\langle b,\cdot\rangle_H$, with $b$ lying in a finite-dimensional subspace of $H$, and is exactly implementable by a $\operatorname{ReLU}$-MLP. Building on this, we introduce convex neural functionals (CNFs), a structured trainable architecture class containing our reconstruction, whose every admissible parameter configuration is automatically convex and Lipschitz, providing a principled foundation for learning convex functionals from finite data.


翻译:凸泛函在应用分析中无处不在,表现为价值函数、风险度量、超对冲价格以及机器学习中的损失泛函。然而在许多应用中,泛函仅能通过有限个精确点值观测获得。我们探究:在可分Hilbert空间$H$上,能否通过显式公式——该公式需保持凸性与Lipschitz正则性且可有限计算——实现凸泛函到任意一致精度的重构。对此我们给出肯定回答。对于每个紧凸集$C\subseteq H$、每个$L$-Lipschitz凸泛函$ρ:C\to\mathbb{R}$及任意$\varepsilon>0$,我们构造了显式的有限样本重构,该重构是凸的、$L$-Lipschitz的,且在$C$上达到$\varepsilon$一致精度。该构造仅使用有限个线性测量$\langle b,\cdot\rangle_H$(其中$b$位于$H$的有限维子空间内),并由$\operatorname{ReLU}$-MLP精确实现。在此基础上,我们引入凸神经泛函(CNF)——一种包含上述重构的结构化可训练架构类,其每个可容许参数配置自动满足凸性与Lipschitz条件,为从有限数据学习凸泛函提供了原理性基础。

0
下载
关闭预览

相关内容

【2023新书】机器学习凸优化,379页pdf
专知会员服务
128+阅读 · 2023年5月3日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
【经典书】凸优化理论,MIT-Dimitri P. Bertsekas教授,257页pdf
专知会员服务
42+阅读 · 2021年4月2日
斯坦福EE364a《凸优化》课件,301页ppt
专知会员服务
100+阅读 · 2020年7月14日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
231+阅读 · 2020年6月5日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月3日
Arxiv
0+阅读 · 5月29日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员