In hierarchical multi-label classification, a persistent challenge is enabling model predictions to reach deeper levels of the hierarchy for more detailed or fine-grained classifications. This difficulty partly arises from the natural rarity of certain classes (or hierarchical nodes) and the hierarchical constraint that ensures child nodes are almost always less frequent than their parents. To address this, we propose a weighted loss objective for neural networks that combines node-wise imbalance weighting with focal weighting components, the latter leveraging modern quantification of ensemble uncertainties. By emphasizing rare nodes rather than rare observations (data points), and focusing on uncertain nodes for each model output distribution during training, we observe improvements in recall by up to a factor of five on benchmark datasets, along with statistically significant gains in $F_{1}$ score. We also show our approach aids convolutional networks on challenging tasks, as in situations with suboptimal encoders or limited data.


翻译:在层次多标签分类中,一个长期存在的挑战是使模型预测能够达到层次结构的更深层级,以实现更详细或更细粒度的分类。这一困难部分源于某些类别(或层次节点)的自然稀有性,以及确保子节点几乎总是比其父节点出现频率更低的层次约束。为解决此问题,我们提出了一种用于神经网络的加权损失目标,该目标结合了节点级不平衡加权与焦点加权分量,后者利用了集成不确定性的现代量化方法。通过强调稀有节点而非稀有观测(数据点),并在训练过程中针对每个模型输出分布聚焦于不确定节点,我们在基准数据集上观察到召回率提升高达五倍,同时$F_{1}$分数也获得统计显著的提升。我们还证明,在编码器欠佳或数据有限的情况下,我们的方法有助于卷积网络应对具有挑战性的任务。

0
下载
关闭预览

相关内容

《深度学习多标签学习》最新综述
专知会员服务
47+阅读 · 2024年1月31日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
专知会员服务
101+阅读 · 2020年7月20日
标签间相关性在多标签分类问题中的应用
人工智能前沿讲习班
23+阅读 · 2019年6月5日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
《深度学习多标签学习》最新综述
专知会员服务
47+阅读 · 2024年1月31日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
专知会员服务
101+阅读 · 2020年7月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员