Neural networks with ReLU activations are a widely used model in machine learning. It is thus important to have a profound understanding of the properties of the functions computed by such networks. Recently, there has been increasing interest in the (parameterized) computational complexity of determining these properties. In this work, we close several gaps and resolve an open problem posted by Froese et al. [COLT '25] regarding the parameterized complexity of various problems related to network verification. In particular, we prove that deciding positivity (and thus surjectivity) of a function $f\colon\mathbb{R}^d\to\mathbb{R}$ computed by a 2-layer ReLU network is W[1]-hard when parameterized by $d$. This result also implies that zonotope (non-)containment is W[1]-hard with respect to $d$, a problem that is of independent interest in computational geometry, control theory, and robotics. Moreover, we show that approximating the maximum within any multiplicative factor in 2-layer ReLU networks, computing the $L_p$-Lipschitz constant for $p\in(0,\infty]$ in 2-layer networks, and approximating the $L_p$-Lipschitz constant in 3-layer networks are NP-hard and W[1]-hard with respect to $d$. Notably, our hardness results are the strongest known so far and imply that the naive enumeration-based methods for solving these fundamental problems are all essentially optimal under the Exponential Time Hypothesis.


翻译:具有ReLU激活函数的神经网络是机器学习中广泛使用的模型。因此,深入理解此类网络计算函数的性质至关重要。近年来,人们越来越关注确定这些性质的(参数化)计算复杂性。在本工作中,我们填补了若干空白,并解决了Froese等人[COLT '25]提出的一个关于网络验证相关问题的参数化复杂性的开放性问题。特别地,我们证明:对于由2层ReLU网络计算的函数$f\colon\mathbb{R}^d\to\mathbb{R}$,判定其正性(进而判定满射性)在参数$d$下是W[1]-难的。这一结果也蕴含了zonotope(非)包含问题在参数$d$下是W[1]-难的,而该问题在计算几何、控制理论和机器人学中具有独立意义。此外,我们证明:在2层ReLU网络中近似最大值的任意乘法因子、计算$p\in(0,\infty]$时的$L_p$-Lipschitz常数,以及在3层网络中近似$L_p$-Lipschitz常数,这些问题均是NP-难的且在参数$d$下是W[1]-难的。值得注意的是,我们的难度结果目前是已知最强的,并且意味着,在指数时间假设下,解决这些基本问题的基于朴素枚举的方法本质上是最优的。

0
下载
关闭预览

相关内容

激活的三十年:神经网络400个激活函数的全面综述
专知会员服务
71+阅读 · 2024年2月18日
深度学习算法发展简述,从DNN到Transformer再到ChatGPT
专知会员服务
153+阅读 · 2022年12月22日
专知会员服务
24+阅读 · 2021年10月14日
专知会员服务
92+阅读 · 2021年7月9日
图神经网络表达能力的研究综述,41页pdf
专知会员服务
173+阅读 · 2020年3月10日
综述| 当图神经网络遇上强化学习
图与推荐
35+阅读 · 2022年7月1日
当深度强化学习遇见图神经网络
专知
227+阅读 · 2019年10月21日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
激活函数还是有一点意思的!
计算机视觉战队
12+阅读 · 2019年6月28日
干货 | 深入理解深度学习中的激活函数
计算机视觉life
16+阅读 · 2019年1月29日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员