We show that Inner Product in $2n$ variables, $\mathbf{IP}_n(x, y) = x_1y_1 \oplus \ldots \oplus x_ny_n$, can be computed by depth-3 bottom fan-in 2 circuits of size $\mathsf{poly}(n)\cdot (9/5)^n$, matching the lower bound of Göös, Guan, and Mosnoi (Inform. Comput.'24). Our construction is obtained via the following steps. - We provide a general template for constructing optimal depth-3 circuits with bottom fan-in $k$ for an arbitrary function $f$. We do this in two steps. First, we partition $f^{-1}(1)$ into orbits of its automorphism group. Second, for each orbit, we construct one $k$-CNF that (a) accepts the largest number of inputs from that orbit and (b) rejects all inputs rejected by $f$. - We instantiate the template for $\mathbf{IP}_n$ and $k = 2$. Guided by the intuition (which we call modularity principle) that optimal 2-CNFs can be constructed by taking the conjunction of variable-disjoint copies of smaller $2$-CNFs, we use computer search to identify a small set of building block 2-CNFs over at most 4 variables. - We again use computer search to discover appropriate combinations (disjoint conjunctions) of building blocks to arrive at optimal 2-CNFs and analyze them using techniques from analytic combinatorics. We believe that the approach outlined in this paper can be applied to a wide range of functions to determine their depth-3 complexity.


翻译:我们证明了包含 $2n$ 个变量的内积函数 $\mathbf{IP}_n(x, y) = x_1y_1 \oplus \ldots \oplus x_ny_n$ 可由底层扇入为 2、规模为 $\mathsf{poly}(n)\cdot (9/5)^n$ 的深度三电路计算,该结果与 Göös、Guan 和 Mosnoi(Inform. Comput.'24)所证明的下界相匹配。我们的构造通过以下步骤实现:- 我们提出了一个通用模板,用于为任意函数 $f$ 构建底层扇入为 $k$ 的最优深度三电路。这分两步完成:首先,将 $f^{-1}(1)$ 划分到其自同构群的轨道中;其次,为每个轨道构造一个 $k$-CNF,该 $k$-CNF 需满足(a)接受该轨道中最大数量的输入,且(b)拒绝所有被 $f$ 拒绝的输入。- 我们将该模板实例化应用于 $\mathbf{IP}_n$ 且 $k = 2$ 的情形。基于“最优 2-CNF 可通过取变量互不相交的较小 $2$-CNF 副本的合取来构造”这一直觉(我们称之为模块化原则),我们通过计算机搜索识别出一小组变量数不超过 4 的构建块 2-CNF。- 我们再次利用计算机搜索,发现构建块的适当组合(不相交合取)以获得最优 2-CNF,并运用解析组合学技术对其进行分析。我们相信本文概述的方法可广泛应用于各类函数,以确定其深度三电路复杂度。

0
下载
关闭预览

相关内容

【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
专知会员服务
15+阅读 · 2024年10月31日
几何观点下的深度学习
专知会员服务
35+阅读 · 2022年12月13日
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
24+阅读 · 2020年4月3日
卷积神经网络四种卷积类型
炼数成金订阅号
18+阅读 · 2019年4月16日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
什么是深度学习的卷积?
论智
18+阅读 · 2018年8月14日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
用于数学的 10 个优秀编程语言
算法与数据结构
13+阅读 · 2018年1月5日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
专知会员服务
15+阅读 · 2024年10月31日
几何观点下的深度学习
专知会员服务
35+阅读 · 2022年12月13日
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
24+阅读 · 2020年4月3日
相关资讯
卷积神经网络四种卷积类型
炼数成金订阅号
18+阅读 · 2019年4月16日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
什么是深度学习的卷积?
论智
18+阅读 · 2018年8月14日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
用于数学的 10 个优秀编程语言
算法与数据结构
13+阅读 · 2018年1月5日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员