One of the central problems in machine learning is domain adaptation. Unlike past theoretical work, we consider a new model for subpopulation shift in the input or representation space. In this work, we propose a provably effective framework for domain adaptation based on label propagation. In our analysis, we use a simple but realistic expansion assumption, proposed in \citet{wei2021theoretical}. Using a teacher classifier trained on the source domain, our algorithm not only propagates to the target domain but also improves upon the teacher. By leveraging existing generalization bounds, we also obtain end-to-end finite-sample guarantees on the entire algorithm. In addition, we extend our theoretical framework to a more general setting of source-to-target transfer based on a third unlabeled dataset, which can be easily applied in various learning scenarios. Inspired by our theory, we adapt consistency-based semi-supervised learning methods to domain adaptation settings and gain significant improvements.


翻译:机器学习的核心问题之一是领域适应。 与以往的理论工作不同, 我们考虑的是输入或代表空间子人口变化的新模式。 在这项工作中, 我们提议了一个基于标签传播的、 相当有效的域适应框架。 在我们的分析中, 我们使用一个简单而现实的扩展假设, 是在\citet{wei2021神学} 中提议的。 使用在源域上受过培训的教师分类师, 我们的算法不仅向目标域传播, 而且还向教师改进。 通过利用现有的概括界限, 我们还获得了整个算法的端到端的有限抽样保证。 此外, 我们扩展了我们的理论框架, 以基于第三种无标签数据集的源到目标转移为更一般的设置, 这些数据可以很容易地应用于各种学习情景中。 根据我们的理论, 我们调整了基于一致性的半监督的学习方法, 以域适应环境并获得显著的改进。

0
下载
关闭预览

相关内容

专知会员服务
90+阅读 · 2021年6月29日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
【PKDD2020教程】可解释人工智能XAI:算法到应用,200页ppt
专知会员服务
101+阅读 · 2020年10月13日
迁移学习简明教程,11页ppt
专知会员服务
109+阅读 · 2020年8月4日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
标签传播算法(Label Propagation)及 Python 实现
Python开发者
6+阅读 · 2017年9月18日
Arxiv
14+阅读 · 2019年9月11日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
3+阅读 · 今天8:04
《异构人类团队的协作决策过程混合建模研究》
专知会员服务
3+阅读 · 今天7:59
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
3+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
10+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
相关资讯
Top
微信扫码咨询专知VIP会员