We develop a method for training neural networks on Boolean data in which the values at all nodes are strictly $\pm 1$, and the resulting models are typically equivalent to networks whose nonzero weights are also $\pm 1$. The method replaces loss minimization with a nonconvex constraint formulation. Each node implements a Boolean threshold function (BTF), and training is expressed through a divide-and-concur decomposition into two complementary constraints: one enforces local BTF consistency between inputs, weights, and output; the other imposes architectural concurrence, equating neuron outputs with downstream inputs and enforcing weight equality across training-data instantiations of the network. The reflect-reflect-relax (RRR) projection algorithm is used to reconcile these constraints. Each BTF constraint includes a lower bound on the margin. When this bound is sufficiently large, the learned representations are provably sparse and equivalent to networks composed of simple logical gates with $\pm 1$ weights. Across a range of tasks -- including multiplier-circuit discovery, binary autoencoding, logic-network inference, and cellular automata learning -- the method achieves exact solutions or strong generalization in regimes where standard gradient-based methods struggle. These results demonstrate that projection-based constraint satisfaction provides a viable and conceptually distinct foundation for learning in discrete neural systems, with implications for interpretability and efficient inference.


翻译:我们提出了一种在布尔数据上训练神经网络的方法,其中所有节点的取值严格限定为$\pm 1$,所得模型通常等价于非零权重也为$\pm 1$的网络。该方法用非凸约束公式替代了损失最小化范式。每个节点实现一个布尔阈值函数(BTF),训练过程通过分治-共识分解为两个互补约束来表达:一个约束强制输入、权重与输出之间的局部BTF一致性;另一个约束施加架构共识,将神经元输出等同于下游输入,并确保网络在训练数据实例间的权重一致性。采用反射-反射-松弛(RRR)投影算法来协调这些约束。每个BTF约束包含对间隔下界的限定。当该下界足够大时,所学表征可被严格证明具有稀疏性,且等价于由$\pm 1$权重简单逻辑门构成的网络。在一系列任务中——包括乘法器电路发现、二进制自编码、逻辑网络推断和元胞自动机学习——该方法在标准梯度方法难以应对的领域实现了精确解或强泛化能力。这些结果表明,基于投影的约束满足为离散神经系统的学习提供了可行且概念独特的基础框架,对可解释性与高效推断具有重要启示。

0
下载
关闭预览

相关内容

【KDD2023】分布外图学习
专知会员服务
31+阅读 · 2023年8月17日
机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
84+阅读 · 2022年3月19日
专知会员服务
19+阅读 · 2021年4月3日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月5日
Arxiv
0+阅读 · 1月31日
Arxiv
0+阅读 · 1月12日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员