Nowadays, neural networks act as a synonym for artificial intelligence. Present neural network models, although remarkably powerful, are inefficient both in terms of data and energy. Several alternative forms of neural networks have been proposed to address some of these problems. Specifically, spiking neural networks are suitable for efficient hardware implementations. However, effective learning algorithms for spiking networks remain elusive, although it is suspected that effective plasticity mechanisms could alleviate the problem of data efficiency. Here, we present a new framework for spiking neural networks - Spark - built upon the idea of modular design, from simple components to entire models. The aim of this framework is to provide an efficient and streamlined pipeline for spiking neural networks. We showcase this framework by solving the sparse-reward cartpole problem with simple plasticity mechanisms. We hope that a framework compatible with traditional ML pipelines may accelerate research in the area, specifically for continuous and unbatched learning, akin to the one animals exhibit.


翻译:如今,神经网络已成为人工智能的代名词。现有的神经网络模型虽然功能强大,但在数据和能源效率方面均存在不足。为应对这些问题,学界已提出多种替代形式的神经网络。其中,脉冲神经网络特别适用于高效硬件实现。然而,针对脉冲网络的有效学习算法仍待突破,尽管人们推测有效的可塑性机制可能缓解数据效率问题。本文提出一种基于模块化设计理念的新型脉冲神经网络框架——Spark,该框架支持从基础组件到完整模型的系统性构建。该框架旨在为脉冲神经网络提供高效、精简的开发流程。我们通过结合简单可塑性机制解决稀疏奖励倒立摆问题,展示了该框架的应用潜力。我们期望这种兼容传统机器学习流程的框架能够加速该领域的研究进展,特别是在实现类似动物行为的连续无批次学习方面。

0
下载
关闭预览

相关内容

【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
面向大规模脉冲神经网络:全面综述与未来方向
专知会员服务
26+阅读 · 2024年9月5日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
能耗优化的神经网络轻量化方法研究进展
专知会员服务
27+阅读 · 2023年1月29日
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
专知会员服务
117+阅读 · 2020年8月22日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
123+阅读 · 2019年9月24日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关VIP内容
【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
面向大规模脉冲神经网络:全面综述与未来方向
专知会员服务
26+阅读 · 2024年9月5日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
能耗优化的神经网络轻量化方法研究进展
专知会员服务
27+阅读 · 2023年1月29日
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
专知会员服务
117+阅读 · 2020年8月22日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
123+阅读 · 2019年9月24日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员