最近,深度半监督学习(SSL)表现得非常有效。但是,当类分布不匹配时,其性能严重下降,其中常见的情况是未标记数据中包含了一些标记数据中没有看到的类。在这个问题上的努力仍然有限。本文提出了一种简单、有效、安全的深层SSL方法来减轻其危害。从理论上讲,新方法学习的结果不会比单纯的标记数据学习差,并且在理论上保证了其在O(pdln (n)/n)阶上的泛化接近最优,甚至比具有大量参数的监督学习的收敛速度更快。在基准测试数据实验中,与现有的深度SSL方法相比,在40%的未见类未标记数据中,深度SSL方法不如监督学习,新方法仍然可以在60%以上的未见类未标记数据中实现性能提升。此外,该方法适用于许多深度SSL算法,并且可以很容易地扩展以处理类分布不匹配的其他情况。

成为VIP会员查看完整内容
42

相关内容

【ICML2020】机器学习无参数在线优化,294页ppt
专知会员服务
55+阅读 · 2020年8月1日
《小样本元学习》2020最新综述论文
专知会员服务
173+阅读 · 2020年7月31日
最新《深度半监督学习》综述论文,43页pdf
专知会员服务
156+阅读 · 2020年6月12日
【ICML2020】小样本目标检测
专知会员服务
91+阅读 · 2020年6月2日
从无到有!自动化所提出海量虚拟数据生成新方法
中国科学院自动化研究所
5+阅读 · 2019年9月16日
基于样本选择的安全图半监督学习方法
【干货】监督学习与无监督学习简介
专知
14+阅读 · 2018年4月4日
【推荐】伪标签学习导论 - 一种半监督学习方法
机器学习研究会
12+阅读 · 2017年10月5日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Arxiv
3+阅读 · 2018年10月18日
Arxiv
6+阅读 · 2018年4月23日
Arxiv
15+阅读 · 2018年4月3日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
3+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
8+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
15+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
17+阅读 · 10月15日
相关论文
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Continual Unsupervised Representation Learning
Arxiv
7+阅读 · 2019年10月31日
Arxiv
3+阅读 · 2018年10月18日
Arxiv
6+阅读 · 2018年4月23日
Arxiv
15+阅读 · 2018年4月3日
微信扫码咨询专知VIP会员