We numerically demonstrate a network of coupled oscillators that can learn to solve a classification task from a set of examples -- performing both training and inference through the nonlinear evolution of the system. We accomplish this by combining three key elements to achieve learning: A long- term memory that stores learned responses, analogous to the synapses in biological brains; a short- term memory that stores the neural activations, similar to the firing patterns of neurons; and an evolution law that updates the synapses in response to novel examples, inspired by synaptic plasticity. Achieving all three elements in wave-based information processors such as metamaterials is a significant challenge. Here, we solve it by leveraging the material multistability to implement long-term memory, and harnessing symmetries and thermal noise to realize the learning rule. Our analysis reveals that the learning mechanism, although inspired by synaptic plasticity, also shares parallelisms with bacterial evolution strategies, where mutation rates increase in the presence of noxious stimuli.


翻译:我们通过数值模拟展示了一个耦合振荡器网络,该系统能够从一组示例中学习解决分类任务——通过系统的非线性演化同时完成训练和推理。为实现这一学习能力,我们融合了三个关键要素:存储学习响应的长期记忆(类似于生物大脑中的突触)、存储神经激活的短期记忆(类似于神经元的放电模式),以及受突触可塑性启发、能根据新样本更新突触的演化规律。在超材料等基于波的信息处理器中同时实现这三个要素是一项重大挑战。本文通过利用材料多稳态性实现长期记忆,并借助对称性和热噪声实现学习规则,成功解决了这一难题。我们的分析表明,该学习机制虽受突触可塑性启发,但也与细菌进化策略存在相似性——后者在有害刺激下会提高突变率。

0
下载
关闭预览

相关内容

[ICML2024]消除偏差:微调基础模型以进行半监督学习
专知会员服务
18+阅读 · 2024年5月23日
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
24+阅读 · 2022年10月8日
【CVPR2022】提示分布学习
专知会员服务
31+阅读 · 2022年5月17日
【Coling-2020】面向机器阅读理解的双向认知思维网络
专知会员服务
10+阅读 · 2021年2月12日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
初学者的 Keras:实现卷积神经网络
Python程序员
24+阅读 · 2019年9月8日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
[ICML2024]消除偏差:微调基础模型以进行半监督学习
专知会员服务
18+阅读 · 2024年5月23日
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
24+阅读 · 2022年10月8日
【CVPR2022】提示分布学习
专知会员服务
31+阅读 · 2022年5月17日
【Coling-2020】面向机器阅读理解的双向认知思维网络
专知会员服务
10+阅读 · 2021年2月12日
相关资讯
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
初学者的 Keras:实现卷积神经网络
Python程序员
24+阅读 · 2019年9月8日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员