Learning precise Boolean logic via gradient descent remains challenging: neural networks typically converge to "fuzzy" approximations that degrade under quantization. We introduce Hierarchical Spectral Composition, a differentiable architecture that selects spectral coefficients from a frozen Boolean Fourier basis and composes them via Sinkhorn-constrained routing with column-sign modulation. Our approach draws on recent insights from Manifold-Constrained Hyper-Connections (mHC), which demonstrated that projecting routing matrices onto the Birkhoff polytope preserves identity mappings and stabilizes large-scale training. We adapt this framework to logic synthesis, adding column-sign modulation to enable Boolean negation -- a capability absent in standard doubly stochastic routing. We validate our approach across four phases of increasing complexity: (1) For n=2 (16 Boolean operations over 4-dim basis), gradient descent achieves 100% accuracy with zero routing drift and zero-loss quantization to ternary masks. (2) For n=3 (10 three-variable operations), gradient descent achieves 76% accuracy, but exhaustive enumeration over 3^8 = 6561 configurations proves that optimal ternary masks exist for all operations (100% accuracy, 39% sparsity). (3) For n=4 (10 four-variable operations over 16-dim basis), spectral synthesis -- combining exact Walsh-Hadamard coefficients, ternary quantization, and MCMC refinement with parallel tempering -- achieves 100% accuracy on all operations. This progression establishes (a) that ternary polynomial threshold representations exist for all tested functions, and (b) that finding them requires methods beyond pure gradient descent as dimensionality grows. All operations enable single-cycle combinational logic inference at 10,959 MOps/s on GPU, demonstrating viability for hardware-efficient neuro-symbolic logic synthesis.


翻译:通过梯度下降学习精确布尔逻辑仍然具有挑战性:神经网络通常收敛到"模糊"近似,在量化下性能会下降。我们引入了层次化谱组合,这是一种可微架构,它从冻结的布尔傅里叶基中选择谱系数,并通过带有列符号调制的Sinkhorn约束路由进行组合。我们的方法借鉴了流形约束超连接的最新见解,该研究证明了将路由矩阵投影到Birkhoff多胞体上可以保持恒等映射并稳定大规模训练。我们将此框架应用于逻辑合成,增加了列符号调制以实现布尔取反——这是标准双随机路由所不具备的能力。我们在四个复杂度递增的阶段验证了我们的方法:(1) 对于n=2(16个布尔运算,基于4维基),梯度下降实现了100%的准确率,路由漂移为零,并且零损失量化到三元掩码。(2) 对于n=3(10个三变量运算),梯度下降实现了76%的准确率,但对3^8 = 6561种配置的穷举枚举证明,所有运算都存在最优三元掩码(100%准确率,39%稀疏度)。(3) 对于n=4(10个四变量运算,基于16维基),谱合成——结合精确的Walsh-Hadamard系数、三元量化和采用并行回火的MCMC精炼——在所有运算上实现了100%的准确率。这一进展确立了:(a) 所有测试函数都存在三元多项式阈值表示,并且(b) 随着维度的增加,找到它们需要超越纯梯度下降的方法。所有运算在GPU上均能以10,959 MOps/s的速度实现单周期组合逻辑推理,证明了硬件高效的神经符号逻辑合成的可行性。

0
下载
关闭预览

相关内容

神经模型中组合求解器和离散分布的集成,77页ppt
专知会员服务
23+阅读 · 2022年12月30日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
神经模型中组合求解器和离散分布的集成,77页ppt
专知会员服务
23+阅读 · 2022年12月30日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员