Deep neural networks generally perform poorly with datasets that suffer from quantity imbalance and classification difficulty imbalance problems. Despite progress in this field, there still are problems of dataset bias or domain shift in the existing two-stage approaches. Therefore, a phased progressive learning schedule enabling smooth transfer of training emphasis from representation learning to upper classifier training is proposed. This has greater effectivity on datasets of severer imbalances or smaller scales. A coupling-regulation-imbalance loss function is designed, coupling a correction term, Focal loss, and LDAM loss. The loss can better deal with quantity imbalance and outliers while regulating the focus-of-attention of samples with different classification difficulties. These approaches achieved satisfactory results on multiple benchmark datasets, including Imbalanced CIFAR10, Imbalanced CIFAR100, ImageNet-LT, and iNaturalist 2018, and they can also be easily generalized for other imbalanced classification models.


翻译:深神经网络一般表现不佳,因为数据集存在数量不平衡和分类困难不平衡问题。尽管在这一领域取得了进展,但现有两阶段方法仍存在数据集偏差或领域转移的问题。因此,建议分阶段逐步学习时间表,以便将培训重点从代表性学习平稳地从代表制学习转移到高级分类培训,这对严重失衡或较小比例的数据集具有更大的影响力。混合-监管-不平衡损失功能的设计,将一个更正术语、焦点损失和LDAM损失结合起来。损失可以更好地处理数量不平衡和外部值,同时调整不同分类困难的样本的取用重点。这些方法在多个基准数据集方面取得了令人满意的结果,包括Imm均衡的CIFAR10、Im平衡的CIFAR100、图像网-LT和2018年的饱和表。它们也可以很容易被其他不平衡的分类模型普遍化。

0
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
12+阅读 · 2019年3月14日
VIP会员
相关VIP内容
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员