Online learning methods often rely on supervised data. However, under data distribution shifts, such as in continual learning (CL), where continuously arriving online data streams incorporate new concepts (e.g., classes), real-time manual annotation is impractical due to its costs and latency, which hinder real-time adaptation. To alleviate this, 'name-only' setup has been proposed, requiring only the name of concepts, not the supervised samples. A recent approach tackles this setup by supplementing data with web-scraped images, but such data often suffers from issues of data imbalance, noise, and copyright. To overcome the limitations of both human supervision and webly supervision, we propose GenOL using generative models for name-only training. But naive application of generative models results in limited diversity of generated data. Here, we enhance (i) intra-diversity, the diversity of images generated by a single model, by proposing a diverse prompt generation method that generates diverse text prompts for text-to-image models, and (ii) inter-diversity, the diversity of images generated by multiple generative models, by introducing an ensemble strategy that selects minimally overlapping samples. We empirically validate that the proposed \frameworkname outperforms prior arts, even a model trained with fully supervised data by large margins, in various tasks, including image recognition and multi-modal visual reasoning.


翻译:在线学习方法通常依赖于监督数据。然而,在数据分布漂移的场景下(如持续学习),当连续到达的在线数据流包含新概念(例如新类别)时,实时人工标注会因成本和延迟问题而难以实现,阻碍了模型的实时自适应。为缓解这一问题,研究者提出了“名称仅”设置,该设置仅需概念名称而无需监督样本。近期一种方法通过补充网络爬取的图像来解决该设置,但此类数据常面临数据不平衡、噪声及版权问题。为克服人工监督与网络监督的双重局限,我们提出GenOL——利用生成模型实现名称仅训练。但生成模型的直接应用会导致生成数据多样性不足。为此,我们通过以下两方面增强多样性:(i) 通过提出多样化提示生成方法生成文本到图像模型所需的多样化文本提示,增强模型内多样性(即单一模型生成的图像多样性);(ii) 通过引入选取最小重叠样本的集成策略,增强模型间多样性(即多个生成模型生成的图像多样性)。实验证明,在图像识别与多模态视觉推理等多种任务中,所提框架性能显著超越现有方法,甚至大幅优于使用全监督数据训练的模型。

0
下载
关闭预览

相关内容

【牛津大学博士论文】从多模态数据中学习表示,258页pdf
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
最新《多任务学习》综述,39页pdf
专知
28+阅读 · 2020年7月10日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
Arxiv
0+阅读 · 4月19日
Arxiv
0+阅读 · 4月14日
VIP会员
相关主题
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
【牛津大学博士论文】从多模态数据中学习表示,258页pdf
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员