Transfer learning aims to improve the performance of a target model by leveraging data from related source populations, which is known to be especially helpful in cases with insufficient target data. In this paper, we study the problem of how to train a high-dimensional ridge regression model using limited target data and existing regression models trained in heterogeneous source populations. We consider a practical setting where only the parameter estimates of the fitted source models are accessible, instead of the individual-level source data. Under the setting with only one source model, we propose a novel flexible angle-based transfer learning (angleTL) method, which leverages the concordance between the source and the target model parameters. We show that angleTL unifies several benchmark methods by construction, including the target-only model trained using target data alone, the source model fitted on source data, and distance-based transfer learning method that incorporates the source parameter estimates and the target data under a distance-based similarity constraint. We also provide algorithms to effectively incorporate multiple source models accounting for the fact that some source models may be more helpful than others. Our high-dimensional asymptotic analysis provides interpretations and insights regarding when a source model can be helpful to the target model, and demonstrates the superiority of angleTL over other benchmark methods. We perform extensive simulation studies to validate our theoretical conclusions and show the feasibility of applying angleTL to transfer existing genetic risk prediction models across multiple biobanks.


翻译:迁移学习旨在通过利用相关源群体的数据来提高目标模型的性能,这在目标数据不足的情况下尤其有用。本文研究如何利用有限的目标数据及在异质源群体中训练的现有回归模型来训练高维岭回归模型。我们考虑一种实际场景:只有已拟合源模型的参数估计值可获取,而无个体级源数据。在仅有一个源模型的设定下,我们提出了一种新颖的灵活角度迁移学习方法(angleTL),该方法利用了源模型与目标模型参数之间的一致性。我们证明angleTL通过构造统一了多种基准方法,包括仅使用目标数据训练的目标-only模型、在源数据上拟合的源模型,以及基于距离相似性约束将源参数估计值与目标数据结合的距离迁移学习方法。我们还提供了有效整合多个源模型的算法,并考虑到某些源模型可能比其他模型更有帮助。我们的高维渐近分析为源模型何时对目标模型有帮助提供了解释与洞见,并展示了angleTL相对于其他基准方法的优越性。我们进行了大量模拟研究以验证理论结论,并展示了将angleTL应用于跨多个生物库的现有遗传风险预测模型迁移的可行性。

0
下载
关闭预览

相关内容

【AAAI2023】FoPro:少样本引导的鲁棒维布监督原型学习
专知会员服务
15+阅读 · 2022年12月3日
【NAACL2022】自然语言处理的对比数据与学习
专知会员服务
46+阅读 · 2022年7月10日
专知会员服务
26+阅读 · 2021年5月23日
专知会员服务
38+阅读 · 2021年3月29日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年5月29日
Arxiv
32+阅读 · 2021年3月29日
Financial Time Series Representation Learning
Arxiv
10+阅读 · 2020年3月27日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
VIP会员
最新内容
消耗优势:美军的“精确规模化”概念
专知会员服务
5+阅读 · 今天10:12
《离线语言支持系统:面向空战战术决策》
专知会员服务
5+阅读 · 今天9:53
俄乌战场地面机器人如何改写战争规则
专知会员服务
9+阅读 · 6月14日
《无人水面艇文献综述与结构设计》135页
专知会员服务
13+阅读 · 6月13日
相关资讯
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员