In this paper we contribute to the frequently studied question of how to decompose a continuous piecewise linear (CPWL) function into a difference of two convex CPWL functions. Every CPWL function has infinitely many such decompositions, but for applications in optimization and neural network theory, it is crucial to find decompositions with as few linear pieces as possible. This is a highly challenging problem, as we further demonstrate by disproving a recently proposed approach by Tran and Wang [Minimal representations of tropical rational functions. Algebraic Statistics, 15(1):27-59, 2024]. To make the problem more tractable, we propose to fix an underlying polyhedral complex determining the possible locus of nonlinearity. Under this assumption, we prove that the set of decompositions forms a polyhedron that arises as intersection of two translated cones. We prove that irreducible decompositions correspond to the bounded faces of this polyhedron and minimal solutions must be vertices. We then identify cases with a unique minimal decomposition, and illustrate how our insights have consequences in the theory of submodular functions. Finally, we improve upon previous constructions of neural networks for a given convex CPWL function and apply our framework to obtain results in the nonconvex case.


翻译:本文研究一个被频繁探讨的问题:如何将连续分段线性函数分解为两个凸连续分段线性函数的差。每个连续分段线性函数存在无穷多种此类分解,但在优化和神经网络理论的应用中,找到具有尽可能少线性片段的分解至关重要。我们进一步通过反驳Tran和Wang最近提出的方法[Minimal representations of tropical rational functions. Algebraic Statistics, 15(1):27-59, 2024]来证明这是一个极具挑战性的问题。为使问题更易处理,我们提出固定一个潜在的多面体复形,以确定非线性性的可能轨迹。在此假设下,我们证明分解的集合构成一个多面体,它表现为两个平移锥的交集。我们证明不可约分解对应于此多面体的有界面,而最小解必须是顶点。随后我们识别出具有唯一最小分解的情况,并说明我们的见解如何对子模函数理论产生影响。最后,我们改进了针对给定凸连续分段线性函数的神经网络先前构造,并将我们的框架应用于非凸情形以获得结果。

0
下载
关闭预览

相关内容

【AAAI 2022】神经分段常时滞微分方程
专知会员服务
35+阅读 · 2022年1月14日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
【论文笔记】图卷积的解释性技术
专知
18+阅读 · 2019年9月28日
线性回归:简单线性回归详解
专知
12+阅读 · 2018年3月10日
图解高等数学|线性代数
遇见数学
39+阅读 · 2017年10月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月14日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
【AAAI 2022】神经分段常时滞微分方程
专知会员服务
35+阅读 · 2022年1月14日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员