We initiate the study of the algorithmic complexity of finding collisions in single-layer binary neural networks. Given a random matrix $\mathbf{A} \in \mathbb{R}^{m\times n}$, an input $\mathbf{x} \in \{-1,1\}^n$ is mapped to a binary output vector $\varphi(\mathbf{A}\mathbf{x})\in \{-1,1\}^m$, where $\varphi$ is an activation function with constant behavior on $[κ, \infty)$ for some threshold $κ\geq 0$. We identify the threshold scale $κ=Θ(1/\sqrtα)$, where $α=m/n$, as separating two complementary phenomena. When $κ\ll 1/\sqrtα$, we give a simple online algorithm that efficiently produces extensive collisions. When $κ\gg 1/\sqrtα$, for a natural \emph{randomized} non-periodic activation and suitable oscillation complexity, we prove that the extensive-collision space exhibits an overlap gap property (OGP), yielding an exponential lower bound against online algorithms. Ours is the first work to use the overlap gap property as a rigorous criterion for collision resistance. The key difference between collision finding and average-case search is that collision finding has a new ``worst-case'' aspect: the collision finder has full control over the choice of colliding pairs. Our lower bound is proved in the online model; extending such guarantees to broader classes of algorithms, including spectral, algebraic, lattice-based, or quantum methods, remains an open direction.


翻译:我们首次研究了单层二值神经网络中寻找碰撞问题的算法复杂度。给定随机矩阵 $\mathbf{A} \in \mathbb{R}^{m\times n}$,输入 $\mathbf{x} \in \{-1,1\}^n$ 被映射为二值输出向量 $\varphi(\mathbf{A}\mathbf{x})\in \{-1,1\}^m$,其中 $\varphi$ 为激活函数,其在阈值 $κ\geq 0$ 上具有区间 $[κ, \infty)$ 内的常值行为。我们确定阈值尺度 $κ=Θ(1/\sqrtα)$(其中 $α=m/n$)可作为区分两种互补现象的分界点。当 $κ\ll 1/\sqrtα$ 时,我们提出一种简单的在线算法,可高效生成大规模碰撞。当 $κ\gg 1/\sqrtα$ 时,对于自然的\emph{随机化}非周期激活函数和适当的振荡复杂度,我们证明该大规模碰撞空间具有重叠间隙性质(OGP),从而得到针对在线算法的指数级下界。本文首次将重叠间隙性质作为抗碰撞性的严格判据。碰撞寻找与平均情形搜索的关键区别在于,碰撞寻找具有新的“最坏情形”特征:碰撞寻找者可完全控制碰撞对的选择。我们的下界在在线模型下得到证明;将该保证推广至更广泛算法类别(包括谱方法、代数方法、格基方法或量子方法)仍是待探索的研究方向。

0
下载
关闭预览

相关内容

【2023新书】《二值神经网络:算法、架构和应用》
专知会员服务
66+阅读 · 2023年10月26日
《探索具有对抗性混合的神经网络防御》2023最新79页论文
专知会员服务
24+阅读 · 2021年10月14日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
【回顾】深度学习系列之二:卷积神经网络
AI研习社
20+阅读 · 2017年12月1日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员