随着机器学习模型推理成本的增加,对快速且高效推理的模型需求日益增长。最近,有一种方法通过可微松弛直接学习逻辑门网络。逻辑门网络的推理速度比传统神经网络方法更快,因为它们的推理仅需使用诸如NAND、OR和XOR等逻辑门操作,而这些操作是当前硬件的基本构件,能够高效执行。我们基于这一想法,进行了扩展,加入了深度逻辑门树卷积、逻辑OR池化和残差初始化。这使得逻辑门网络的规模扩展提高了一个数量级以上,并利用了卷积的范式。在CIFAR-10数据集上,我们仅使用6100万个逻辑门达到了86.29%的准确率,性能超过了最新最优(SOTA)方法,同时模型大小缩小了29倍。

成为VIP会员查看完整内容
19

相关内容

【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
【ICCV2023】为图神经网络学习自适应的邻域
专知会员服务
19+阅读 · 2023年7月19日
专知会员服务
28+阅读 · 2021年9月10日
专知会员服务
23+阅读 · 2021年8月26日
专知会员服务
69+阅读 · 2021年4月27日
专知会员服务
63+阅读 · 2021年3月12日
【WSDM2021】保存节点相似性的图卷积网络
专知会员服务
41+阅读 · 2020年11月22日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
【Twitter】时序图神经网络
专知会员服务
95+阅读 · 2020年10月15日
专知会员服务
24+阅读 · 2020年9月15日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
1+阅读 · 2024年12月23日
Arxiv
176+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
《系统簇式多域作战规划范畴论框架》
专知会员服务
2+阅读 · 今天14:54
高效视频扩散模型:进展与挑战
专知会员服务
0+阅读 · 今天13:34
乌克兰前线的五项创新
专知会员服务
6+阅读 · 今天6:14
 军事通信系统与设备的技术演进综述
专知会员服务
4+阅读 · 今天5:59
《北约标准:医疗评估手册》174页
专知会员服务
4+阅读 · 今天5:51
《提升生成模型的安全性与保障》博士论文
专知会员服务
4+阅读 · 今天5:47
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
13+阅读 · 4月19日
相关VIP内容
【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
【ICCV2023】为图神经网络学习自适应的邻域
专知会员服务
19+阅读 · 2023年7月19日
专知会员服务
28+阅读 · 2021年9月10日
专知会员服务
23+阅读 · 2021年8月26日
专知会员服务
69+阅读 · 2021年4月27日
专知会员服务
63+阅读 · 2021年3月12日
【WSDM2021】保存节点相似性的图卷积网络
专知会员服务
41+阅读 · 2020年11月22日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
【Twitter】时序图神经网络
专知会员服务
95+阅读 · 2020年10月15日
专知会员服务
24+阅读 · 2020年9月15日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
相关论文
Arxiv
1+阅读 · 2024年12月23日
Arxiv
176+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
182+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
微信扫码咨询专知VIP会员