主题: DEPARA: Deep Attribution Graph for Deep Knowledge Transferability

摘要: 探索经过PRe训练的深度神经网络(PR-DNN)编码的异构任务之间的知识之间的内在联系,揭示了它们的相互可移植性,从而使知识能够从一项任务转移到另一项任务,从而减少了后者的培训工作量。在本文中,我们提出了DEeP属性图(DEPARA),以研究从PR-DNN中获得的知识的可传递性。在DEPARA中,节点对应于输入,并由其相对于PR-DNN输出的矢量归因图表示。边缘表示输入之间的相关性,并通过从PR-DNN中提取的特征相似性来衡量。两个PR-DNN的知识可传递性是通过它们对应的DEPARA的相似性来衡量的。我们将DEPARA应用于转移学习中的两个重要但尚未充分研究的问题:预先训练的模型选择和层选择。进行了广泛的实验以证明所提出的方法在解决这两个问题上的有效性和优越性。

成为VIP会员查看完整内容
29

相关内容

CVPR is the premier annual computer vision event comprising the main conference and several co-located workshops and short courses. With its high quality and low cost, it provides an exceptional value for students, academics and industry researchers. CVPR 2020 will take place at The Washington State Convention Center in Seattle, WA, from June 16 to June 20, 2020. http://cvpr2020.thecvf.com/
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
96+阅读 · 2020年3月25日
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
134+阅读 · 2020年2月13日
【综述】迁移自适应学习十年进展
专知
41+阅读 · 2019年11月26日
论文浅尝 | DKN: 面向新闻推荐的深度知识感知网络
开放知识图谱
21+阅读 · 2019年5月1日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
Arxiv
18+阅读 · 2019年3月28日
Arxiv
12+阅读 · 2019年2月26日
Arxiv
7+阅读 · 2018年8月21日
VIP会员
最新内容
无人机与反无人机系统(书籍)
专知会员服务
1+阅读 · 今天6:45
乌克兰2026年军用无人机:现代战争如何被改变
专知会员服务
1+阅读 · 今天5:53
美陆军2026条令:安全与机动支援
专知会员服务
0+阅读 · 今天5:49
技术、多域威慑与海上战争(报告)
专知会员服务
7+阅读 · 4月13日
“在云端防御”:提升北约数据韧性(报告)
专知会员服务
4+阅读 · 4月13日
人工智能及其在海军行动中的整合(综述)
专知会员服务
4+阅读 · 4月13日
微信扫码咨询专知VIP会员