In today's connected world, the generation of massive streaming data across diverse domains has become commonplace. In the presence of concept drift, class imbalance, label scarcity, and new class emergence, they jointly degrade representation stability, bias learning toward outdated distributions, and reduce the resilience and reliability of detection in dynamic environments. This paper proposes SCIL (Streaming Class-Incremental Learning) to address these challenges. The SCIL framework integrates an autoencoder (AE) with a multi-layer perceptron for multi-class prediction, uses a dual-loss strategy (classification and reconstruction) for prediction and new class detection, employs corrected pseudo-labels for online training, manages classes with queues, and applies oversampling to handle imbalance. The rationale behind the method's structure is elucidated through ablation studies and a comprehensive experimental evaluation is performed using both real-world and synthetic datasets that feature class imbalance, incremental classes, and concept drifts. Our results demonstrate that SCIL outperforms strong baselines and state-of-the-art methods. Based on our commitment to Open Science, we make our code and datasets available to the community.


翻译:在当今互联世界中,跨领域海量流式数据的生成已变得普遍。在存在概念漂移、类别不平衡、标签稀缺和新类别涌现的情况下,这些问题会共同导致表征稳定性下降、使学习偏向过时分布,并降低动态环境中检测的弹性与可靠性。本文提出SCIL(流式类增量学习)框架以应对这些挑战。SCIL框架将自编码器与用于多类预测的多层感知器相集成,采用双损失策略(分类与重构)进行预测和新类别检测,使用修正伪标签进行在线训练,通过队列机制管理类别,并应用过采样技术处理不平衡问题。通过消融研究阐明了方法结构的设计原理,并使用兼具类别不平衡、增量类别和概念漂移特征的真实数据集与合成数据集进行了全面实验评估。实验结果表明,SCIL在性能上优于强基线方法和当前最先进方法。基于我们对开放科学的承诺,已将代码和数据集向社区公开。

0
下载
关闭预览

相关内容

不平衡数据学习的全面综述
专知会员服务
44+阅读 · 2025年2月15日
《深度学习多标签学习》最新综述
专知会员服务
47+阅读 · 2024年1月31日
基于深度学习的类别增量学习算法综述
专知会员服务
43+阅读 · 2023年8月10日
【AAAI2023】类增量学习的在线超参数优化
专知会员服务
20+阅读 · 2023年1月18日
专知会员服务
112+阅读 · 2020年6月26日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
迁移自适应学习最新综述,附21页论文下载
22篇论文!增量学习/终生学习论文资源列表
专知
32+阅读 · 2018年12月27日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员