All-optical neural networks (AONNs) have emerged as a promising paradigm for ultrafast and energy-efficient computation. These networks typically consist of multiple serially connected layers between input and output layers--a configuration we term spatially series AONNs, with deep neural networks (DNNs) being the most prominent examples. However, such series architectures suffer from progressive signal degradation during information propagation and critically require additional nonlinearity designs to model complex relationships effectively. Here we propose a spatially parallel architecture for all-optical neural networks (SP-AONNs). Unlike series architecture that sequentially processes information through consecutively connected optical layers, SP-AONNs divide the input signal into identical copies fed simultaneously into separate optical layers. Through coherent interference between these parallel linear sub-networks, SP-AONNs inherently enable nonlinear computation without relying on active nonlinear components or iterative updates. We implemented a modular 4F optical system for SP-AONNs and evaluated its performance across multiple image classification benchmarks. Experimental results demonstrate that increasing the number of parallel sub-networks consistently enhances accuracy, improves noise robustness, and expands model expressivity. Our findings highlight spatial parallelism as a practical and scalable strategy for advancing the capabilities of optical neural computing.


翻译:全光神经网络(AONNs)已成为超高速与高能效计算的一种前景广阔的模式。这类网络通常在输入层与输出层之间包含多个串行连接的层——我们将这种配置称为空间串行AONNs,其中深度神经网络(DNNs)是最典型的代表。然而,此类串行架构在信息传播过程中会遭受渐进式信号衰减,且关键性地需要额外的非线性设计以有效建模复杂关系。本文提出一种空间并行架构的全光神经网络(SP-AONNs)。与通过连续连接的光学层顺序处理信息的串行架构不同,SP-AONNs将输入信号分割为多个相同副本,同时馈入独立的光学层。通过这些并行线性子网络之间的相干干涉,SP-AONNs无需依赖主动非线性元件或迭代更新即可实现非线性计算。我们为SP-AONNs搭建了模块化的4F光学系统,并在多个图像分类基准任务上评估其性能。实验结果表明,增加并行子网络数量能持续提升准确率、增强噪声鲁棒性并扩展模型表达能力。我们的研究揭示了空间并行机制是推进光学神经计算能力的一种实用且可扩展的策略。

0
下载
关闭预览

相关内容

【NeurIPS2024】卷积可微逻辑门网络
专知会员服务
19+阅读 · 2024年11月11日
【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【AAAI2023】图序注意力网络
专知会员服务
46+阅读 · 2022年11月24日
专知会员服务
17+阅读 · 2021年7月31日
专知会员服务
38+阅读 · 2021年5月28日
专知会员服务
30+阅读 · 2021年2月26日
专知会员服务
24+阅读 · 2020年9月15日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
18+阅读 · 2024年12月27日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
27+阅读 · 2023年3月17日
A Survey on Edge Intelligence
Arxiv
52+阅读 · 2020年3月26日
VIP会员
相关VIP内容
【NeurIPS2024】卷积可微逻辑门网络
专知会员服务
19+阅读 · 2024年11月11日
【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【AAAI2023】图序注意力网络
专知会员服务
46+阅读 · 2022年11月24日
专知会员服务
17+阅读 · 2021年7月31日
专知会员服务
38+阅读 · 2021年5月28日
专知会员服务
30+阅读 · 2021年2月26日
专知会员服务
24+阅读 · 2020年9月15日
相关论文
Arxiv
18+阅读 · 2024年12月27日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
27+阅读 · 2023年3月17日
A Survey on Edge Intelligence
Arxiv
52+阅读 · 2020年3月26日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员