Aim/Introduction: Distance-encoding biomorphic-informational neural network (DEBI-NN) is a recently proposed architecture in which connection weights are defined by the distances between neurons positioned in a Euclidian space. This approach drastically reduces the number of trainable parameters compared to classical neural networks in which weights are directly trained. The training process for DEBI-NN is based on a genetic algorithm (GA), rather than gradient descent (GD) which remains the prevailing optimization algorithm in deep learning. We aim to design and implement a GD learner for DEBI-NN and assess its performance compared to GA. Materials and Methods: We designed a spatial backpropagation scheme tailored to DEBI-NN and carried out a comparison between GD and GA for classification tasks, using a synthetic non-linear "two-moons" dataset, two clinical medical imaging radiomic datasets and a fetal cardiotocography dataset with a sample sizes ranging from n=85 to n=2126. Each optimizer was tuned through targeted hyperparameter searches adapted to each dataset. Results: Across all experiments, GA consistently produced superior decision boundaries and classification performance (Synthetic: 100% vs 83%; DLBCL: 83% vs 78%; HECKTOR: 80% vs 67%; Fetal: 81% vs 66%), whereas GD exhibited instability and failed to fully capture the non-linear patterns inherent to DEBI-NN's spatial encoding. The entangled gradients resulting from neuron interdependencies limit the effectiveness of classical backpropagation. Conclusion: These findings highlight fundamental limitations of gradient-based methods in architectures with highly interdependent spatial parameters and confirm the suitability of evolutionary strategies for training DEBI-NN.


翻译:目的/引言:距离编码生物形态信息神经网络(DEBI-NN)是一种近期提出的架构,其连接权重由欧几里得空间中神经元之间的距离定义。与直接训练权重的经典神经网络相比,该方法大幅减少了可训练参数数量。DEBI-NN的训练过程基于遗传算法(GA),而非深度学习领域主流优化算法——梯度下降法(GD)。本研究旨在为DEBI-NN设计并实现GD学习器,并评估其与GA的性能差异。材料与方法:针对DEBI-NN设计了一种空间反向传播方案,并使用合成非线性“双月”数据集、两个临床医学影像放射组学数据集以及一个胎儿心宫缩描记数据集(样本量n=85至n=2126)进行GD与GA的分类任务对比。每种优化器均通过针对各数据集的目标超参数搜索进行调优。结果:在所有实验中,GA均持续生成更优的决策边界和分类性能(合成数据集:100% vs 83%;弥漫性大B细胞淋巴瘤数据集:83% vs 78%;头颈癌放射组学数据集:80% vs 67%;胎儿数据集:81% vs 66%),而GD表现出不稳定性,且未能完全捕捉DEBI-NN空间编码固有的非线性模式。神经元相互依赖导致的梯度纠缠限制了经典反向传播的有效性。结论:这些发现揭示了基于梯度方法在高度依赖的空间参数架构中的根本局限性,并证实了进化策略对训练DEBI-NN的适用性。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
《科学机器学习中神经网络结构的比较》最新65页报告
专知会员服务
29+阅读 · 2024年3月5日
神经网络的基础数学
专知会员服务
208+阅读 · 2022年1月23日
【Nature通讯】深度神经网络模型中的个体差异
专知会员服务
14+阅读 · 2020年11月16日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
深度学习循环神经网络详解
七月在线实验室
16+阅读 · 2018年5月28日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月5日
Arxiv
18+阅读 · 2019年3月28日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关VIP内容
《科学机器学习中神经网络结构的比较》最新65页报告
专知会员服务
29+阅读 · 2024年3月5日
神经网络的基础数学
专知会员服务
208+阅读 · 2022年1月23日
【Nature通讯】深度神经网络模型中的个体差异
专知会员服务
14+阅读 · 2020年11月16日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员