Learning in the presence of missing data can result in biased predictions and poor generalizability, among other difficulties, which data imputation methods only partially address. In neural networks, activation functions significantly affect performance yet typical options (e.g., ReLU, Swish) operate only on feature values and do not account for missingness indicators or confidence scores. We propose Three-Channel Evolved Activations (3C-EA), which we evolve using Genetic Programming to produce multivariate activation functions f(x, m, c) in the form of trees that take (i) the feature value x, (ii) a missingness indicator m, and (iii) an imputation confidence score c. To make these activations useful beyond the input layer, we introduce ChannelProp, an algorithm that deterministically propagates missingness and confidence values via linear layers based on weight magnitudes, retaining reliability signals throughout the network. We evaluate 3C-EA and ChannelProp on datasets with natural and injected (MCAR/MAR/MNAR) missingness at multiple rates under identical preprocessing and splits. Results indicate that integrating missingness and confidence inputs into the activation search improves classification performance under missingness.


翻译:在缺失数据存在的情况下进行学习可能导致预测偏差和泛化能力差等困难,而数据插补方法仅能部分解决这些问题。在神经网络中,激活函数对性能有显著影响,但典型选项(如ReLU、Swish)仅对特征值进行操作,未考虑缺失指示符或置信度分数。我们提出三通道进化激活函数(3C-EA),通过遗传编程进化生成以树结构表示的多变量激活函数f(x, m, c),该函数接收三个输入:(i)特征值x,(ii)缺失指示符m,以及(iii)插补置信度c。为使这些激活函数在输入层之外发挥作用,我们提出ChannelProp算法,该算法基于权重幅值通过线性层确定性传播缺失状态和置信度值,从而在整个网络中保持可靠性信号。我们在相同预处理和划分条件下,对具有自然缺失及注入缺失(MCAR/MAR/MNAR)的多组数据集在不同缺失率下评估了3C-EA与ChannelProp。结果表明,在激活函数搜索中整合缺失状态与置信度输入能有效提升缺失数据下的分类性能。

0
下载
关闭预览

相关内容

在人工神经网络中,给定一个输入或一组输入,节点的激活函数定义该节点的输出。一个标准集成电路可以看作是一个由激活函数组成的数字网络,根据输入的不同,激活函数可以是开(1)或关(0)。这类似于神经网络中的线性感知器的行为。然而,只有非线性激活函数允许这样的网络只使用少量的节点来计算重要问题,并且这样的激活函数被称为非线性。
【博士论文】强化学习智能体的奖励函数设计
专知会员服务
48+阅读 · 2025年4月8日
【NeurIPS2024】用于缺失值数据集的可解释广义加性模型
专知会员服务
18+阅读 · 2024年12月7日
激活的三十年:神经网络400个激活函数的全面综述
专知会员服务
71+阅读 · 2024年2月18日
深度学习激活函数全面综述论文
专知会员服务
72+阅读 · 2021年10月1日
「基于通信的多智能体强化学习」 进展综述
激活函数还是有一点意思的!
计算机视觉战队
12+阅读 · 2019年6月28日
干货 | 深入理解深度学习中的激活函数
计算机视觉life
16+阅读 · 2019年1月29日
论文浅尝 | 基于多模态关联数据嵌入的知识库补全
开放知识图谱
12+阅读 · 2018年12月13日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
Arxiv
0+阅读 · 1月14日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员