In hierarchical multi-label classification, a persistent challenge is enabling model predictions to reach deeper levels of the hierarchy for more detailed or fine-grained classifications. This difficulty partly arises from the natural rarity of certain classes (or hierarchical nodes) and the hierarchical constraint that ensures child nodes are almost always less frequent than their parents. To address this, we propose a weighted loss objective for neural networks that combines node-wise imbalance weighting with focal weighting components, the latter leveraging modern quantification of ensemble uncertainties. By emphasizing rare nodes rather than rare observations (data points), and focusing on uncertain nodes for each model output distribution during training, we observe improvements in recall by up to a factor of five on benchmark datasets, along with statistically significant gains in $F_{1}$ score. We also show our approach aids convolutional networks on challenging tasks, as in situations with suboptimal encoders or limited data.


翻译:在层次多标签分类中,一个长期存在的挑战是使模型预测能够达到层次结构的更深层级,以实现更详细或更细粒度的分类。这一困难部分源于某些类别(或层次节点)的自然稀有性,以及确保子节点几乎总是比其父节点出现频率更低的层次约束。为解决此问题,我们提出了一种用于神经网络的加权损失目标,该目标结合了节点级不平衡加权与焦点加权分量,后者利用了集成不确定性的现代量化方法。通过强调稀有节点而非稀有观测(数据点),并在训练过程中针对每个模型输出分布聚焦于不确定节点,我们在基准数据集上观察到召回率提升高达五倍,同时$F_{1}$分数也获得统计显著的提升。我们还证明,在编码器欠佳或数据有限的情况下,我们的方法有助于卷积网络应对具有挑战性的任务。

0
下载
关闭预览

相关内容

《深度学习多标签学习》最新综述
专知会员服务
47+阅读 · 2024年1月31日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
专知会员服务
101+阅读 · 2020年7月20日
标签间相关性在多标签分类问题中的应用
人工智能前沿讲习班
23+阅读 · 2019年6月5日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
5+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
8+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
6+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
13+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
9+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
4+阅读 · 4月24日
相关VIP内容
《深度学习多标签学习》最新综述
专知会员服务
47+阅读 · 2024年1月31日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
专知会员服务
101+阅读 · 2020年7月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员