One of the central problems in machine learning is domain adaptation. Unlike past theoretical work, we consider a new model for subpopulation shift in the input or representation space. In this work, we propose a provably effective framework for domain adaptation based on label propagation. In our analysis, we use a simple but realistic expansion assumption, proposed in \citet{wei2021theoretical}. Using a teacher classifier trained on the source domain, our algorithm not only propagates to the target domain but also improves upon the teacher. By leveraging existing generalization bounds, we also obtain end-to-end finite-sample guarantees on the entire algorithm. In addition, we extend our theoretical framework to a more general setting of source-to-target transfer based on a third unlabeled dataset, which can be easily applied in various learning scenarios. Inspired by our theory, we adapt consistency-based semi-supervised learning methods to domain adaptation settings and gain significant improvements.


翻译:机器学习的核心问题之一是领域适应。 与以往的理论工作不同, 我们考虑的是输入或代表空间子人口变化的新模式。 在这项工作中, 我们提议了一个基于标签传播的、 相当有效的域适应框架。 在我们的分析中, 我们使用一个简单而现实的扩展假设, 是在\citet{wei2021神学} 中提议的。 使用在源域上受过培训的教师分类师, 我们的算法不仅向目标域传播, 而且还向教师改进。 通过利用现有的概括界限, 我们还获得了整个算法的端到端的有限抽样保证。 此外, 我们扩展了我们的理论框架, 以基于第三种无标签数据集的源到目标转移为更一般的设置, 这些数据可以很容易地应用于各种学习情景中。 根据我们的理论, 我们调整了基于一致性的半监督的学习方法, 以域适应环境并获得显著的改进。

0
下载
关闭预览

相关内容

专知会员服务
90+阅读 · 2021年6月29日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
【PKDD2020教程】可解释人工智能XAI:算法到应用,200页ppt
专知会员服务
101+阅读 · 2020年10月13日
迁移学习简明教程,11页ppt
专知会员服务
109+阅读 · 2020年8月4日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
标签传播算法(Label Propagation)及 Python 实现
Python开发者
6+阅读 · 2017年9月18日
Arxiv
14+阅读 · 2019年9月11日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
0+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关资讯
Top
微信扫码咨询专知VIP会员