Air hockey demands split-second decisions at high puck velocities, a challenge we address with a compact network of spiking neurons running on a mixed-signal analog/digital neuromorphic processor. By co-designing hardware and learning algorithms, we train the system to achieve successful puck interactions through reinforcement learning in a remarkably small number of trials. The network leverages fixed random connectivity to capture the task's temporal structure and adopts a local e-prop learning rule in the readout layer to exploit event-driven activity for fast and efficient learning. The result is real-time learning with a setup comprising a computer and the neuromorphic chip in-the-loop, enabling practical training of spiking neural networks for robotic autonomous systems. This work bridges neuroscience-inspired hardware with real-world robotic control, showing that brain-inspired approaches can tackle fast-paced interaction tasks while supporting always-on learning in intelligent machines.


翻译:空气曲棍球要求在高速冰球运动中进行瞬间决策,我们通过运行在混合信号模拟/数字神经形态处理器上的紧凑脉冲神经元网络来解决这一挑战。通过硬件与学习算法的协同设计,我们训练该系统在极少试验次数内通过强化学习实现成功的冰球交互。该网络利用固定随机连接捕捉任务的时间结构,并在读出层采用局部e-prop学习规则,以利用事件驱动活动实现快速高效的学习。最终构建了包含计算机和神经形态芯片的实时闭环学习系统,为机器人自主系统实现了脉冲神经网络的实际训练。这项工作将神经科学启发的硬件与现实世界的机器人控制相连接,表明受大脑启发的计算方法能够处理快节奏交互任务,同时支持智能机器中的持续在线学习。

0
下载
关闭预览

相关内容

基于脉冲神经网络的机器人智能控制研究进展
专知会员服务
25+阅读 · 2024年9月15日
面向机器人系统的虚实迁移强化学习综述
专知会员服务
44+阅读 · 2024年2月8日
专知会员服务
65+阅读 · 2021年4月22日
【CMU博士论文】机器人深度强化学习,128页pdf
专知会员服务
133+阅读 · 2020年8月27日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员