From their inception in the 1950s, artificial neural networks (ANNs) started using the so-called point neuron model then prevalent in neuroscience, hoping that this analogy would allow for a better emulation of brain function. Over the years the neuroscience literature has shown that the point neuron model is too simplistic to properly represent many fundamental neural processes; however, the standard neuron model in ANNs still remains the same. Here we substitute it by a very recent model of cortical cells and demonstrate through theoretical analyses and experimental results how, simply by using a more realistic neural unit element without augmenting the number of parameters, the resulting ANNs offer a number of important advantages that include increases in expressivity, robustness and learning speed, and a reduction in memorization and the amount of training data needed.


翻译:自20世纪50年代诞生以来,人工神经网络(ANN)便开始采用当时神经科学中盛行的所谓点神经元模型,期望这种类比能更好地模拟大脑功能。然而,多年来的神经科学文献表明,点神经元模型过于简单,无法恰当表征许多基本神经过程;但ANN中的标准神经元模型至今仍保持不变。在此,我们用一个最新的皮层细胞模型替代现有模型,并通过理论分析与实验结果表明,仅仅通过使用一个更切合实际的神经单元,且不增加参数数量,由此产生的ANN即可提供若干重要优势,包括增强的表达力、鲁棒性和学习速度,同时减少记忆化现象以及所需训练数据量。

0
下载
关闭预览

相关内容

【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
【国家标准意见稿】图神经网络模型
专知会员服务
47+阅读 · 2024年10月28日
专知会员服务
42+阅读 · 2021年6月2日
最新《图神经网络实用指南》2020论文,28页pdf
专知会员服务
222+阅读 · 2020年10月17日
专知会员服务
137+阅读 · 2020年8月24日
2019年新书推荐-《神经网络与深度学习》-Michael Nielsen
深度学习与NLP
14+阅读 · 2019年2月21日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
脉冲神经网络与小样本学习【附PPT】
人工智能前沿讲习班
48+阅读 · 2019年2月1日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月5日
Arxiv
0+阅读 · 5月4日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员