Class imbalance induces systematic bias in deep neural networks by imposing a skewed effective class prior. This work introduces the Neural Prior Estimator (NPE), a framework that learns feature-conditioned log-prior estimates from latent representations. NPE employs one or more Prior Estimation Modules trained jointly with the backbone via a one-way logistic loss. Under the Neural Collapse regime, NPE is analytically shown to recover the class log-prior up to an additive constant, providing a theoretically grounded adaptive signal without requiring explicit class counts or distribution-specific hyperparameters. The learned estimate is incorporated into logit adjustment, forming NPE-LA, a principled mechanism for bias-aware prediction. Experiments on long-tailed CIFAR and imbalanced semantic segmentation benchmarks (STARE, ADE20K) demonstrate consistent improvements, particularly for underrepresented classes. NPE thus offers a lightweight and theoretically justified approach to learned prior estimation and imbalance-aware prediction.


翻译:类别不平衡通过施加倾斜的有效类别先验,在深度神经网络中引入系统性偏差。本文提出了神经先验估计器(NPE),一个从潜在表示中学习特征条件化对数先验估计的框架。NPE采用一个或多个先验估计模块,通过单向逻辑损失与骨干网络联合训练。在神经坍缩机制下,NPE被解析地证明能够恢复类别对数先验(至多一个加性常数),从而提供一种理论上有依据的自适应信号,无需显式的类别计数或特定于分布的超参数。学习到的估计值被整合到对数调整中,形成NPE-LA,这是一种用于偏差感知预测的原理性机制。在长尾CIFAR数据集以及不平衡语义分割基准(STARE、ADE20K)上的实验表明,该方法带来了持续的性能提升,尤其对于代表性不足的类别。因此,NPE为学习先验估计与不平衡感知预测提供了一种轻量级且理论上有依据的途径。

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2021年10月11日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
专知会员服务
16+阅读 · 2021年10月11日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员