基于经验风险最小化的机器学习算法由于贪心地利用训练数据之间的相关性,在分布位移下不稳定,因此泛化性能较差。近年来,利用多个训练环境来寻找非变量关系的非变量学习方法被提出用于非分布泛化(OOD)。然而,现代数据集通常是通过合并来自多个源的数据来组装的,而没有显式的源标签。由此产生的未观察到的异质性使得许多不变学习方法不适用。本文提出了异质风险最小化(HRM)框架,以实现数据之间的潜在异质性和不变关系的联合学习,从而在分布发生变化的情况下实现稳定的预测。我们从理论上描述了不变学习中环境标签的角色,并证明了我们新提出的HRM框架。大量的实验结果验证了我们的HRM的有效性。

https://arxiv.org/abs/2105.03818

成为VIP会员查看完整内容
16

相关内容

专知会员服务
53+阅读 · 2021年6月14日
专知会员服务
25+阅读 · 2021年6月8日
专知会员服务
29+阅读 · 2021年6月7日
专知会员服务
37+阅读 · 2021年5月29日
专知会员服务
82+阅读 · 2021年5月10日
专知会员服务
20+阅读 · 2021年3月28日
【WWW2021】少样本图学习分子性质预测
专知会员服务
36+阅读 · 2021年2月20日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
88+阅读 · 2020年9月6日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
14+阅读 · 2019年9月11日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
5+阅读 · 2018年1月30日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
最新内容
《人工智能赋能电磁战》(报告)
专知会员服务
0+阅读 · 33分钟前
【CMU博士论文】迈向可扩展的开放世界三维感知
专知会员服务
0+阅读 · 今天14:06
前馈式三维场景建模
专知会员服务
0+阅读 · 今天14:03
(译文)认知战:以士兵为目标,塑造战略
专知会员服务
2+阅读 · 今天3:12
(中文)认知战的本体论基础(2026报告)
专知会员服务
18+阅读 · 今天1:45
美空军条令(2026):外国对内防御
专知会员服务
3+阅读 · 今天1:32
相关VIP内容
专知会员服务
53+阅读 · 2021年6月14日
专知会员服务
25+阅读 · 2021年6月8日
专知会员服务
29+阅读 · 2021年6月7日
专知会员服务
37+阅读 · 2021年5月29日
专知会员服务
82+阅读 · 2021年5月10日
专知会员服务
20+阅读 · 2021年3月28日
【WWW2021】少样本图学习分子性质预测
专知会员服务
36+阅读 · 2021年2月20日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
88+阅读 · 2020年9月6日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
14+阅读 · 2019年9月11日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
5+阅读 · 2018年1月30日
Arxiv
9+阅读 · 2018年1月4日
微信扫码咨询专知VIP会员