We formulate formal robustness verification of neural networks as an algebraic optimization problem. We leverage the Euclidean Distance (ED) degree, which is the generic number of complex critical points of the distance minimization problem to a classifier's decision boundary, as an architecture-dependent measure of the intrinsic complexity of robustness verification. To make this notion operational, we define the associated ED discriminant, which characterizes input points at which the number of real critical points changes, distinguishing test instances that are easier or harder to verify. We provide an explicit algorithm for computing this discriminant. We further introduce the parameter discriminant of a neural network, identifying parameters where the ED degree drops and the decision boundary exhibits reduced algebraic complexity. We derive closed-form expressions for the ED degree for several classes of neural architectures, as well as formulas for the expected number of real critical points in the infinite-width limit. Finally, we present an exact robustness certification algorithm based on numerical homotopy continuation, establishing a concrete link between metric algebraic geometry and neural network verification.


翻译:我们将神经网络的正式鲁棒性验证表述为一个代数优化问题。我们利用欧几里得距离(ED)度——即分类器决策边界距离最小化问题在复数域临界点的通用数量——作为鲁棒性验证内在复杂度的架构依赖度量。为使这一概念可操作化,我们定义了相关的ED判别式,该判别式刻画了实临界点数量发生变化的输入点,从而区分更易或更难验证的测试实例。我们给出了计算该判别式的显式算法。进一步地,我们引入了神经网络的参数判别式,用于识别ED度下降且决策边界代数复杂度降低的参数点。我们推导了若干类神经架构的ED度闭式表达式,以及无限宽度极限下实临界点期望数量的计算公式。最后,我们提出了一种基于数值同伦延拓的精确鲁棒性认证算法,从而在度量代数几何与神经网络验证之间建立了具体联系。

0
下载
关闭预览

相关内容

【ETHZ博士论文】认证神经网络的表达能力,86页pdf
专知会员服务
20+阅读 · 2024年6月16日
【牛津大学博士论文】图神经网络鲁棒机器学习,173页pdf
【MIT博士论文】非线性系统鲁棒验证与优化,123页pdf
专知会员服务
29+阅读 · 2022年9月23日
专知会员服务
23+阅读 · 2021年8月26日
专知会员服务
26+阅读 · 2021年6月9日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月13日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
超全总结:神经网络加速之量化模型 | 附带代码
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月13日
Arxiv
0+阅读 · 2月6日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员