在现实世界的场景中,实现领域泛化 (DG) 面临着重大挑战,因为模型需要泛化到未知的目标分布。对于未见过的多模态分布进行泛化更是困难,因为不同的模态显示出不同的属性。为了克服在多模态场景中实现领域泛化的挑战,我们提出了 SimMMDG,一个简单而有效的多模态 DG 框架。我们认为将不同模态的特征映射到同一嵌入空间会妨碍模型的泛化。为了解决这个问题,我们建议将每种模态中的特征分为模态特定和模态共享的组件。我们对模态共享的特征进行有监督的对比学习,确保它们具有联合属性,并对模态特定的特征施加距离约束以促进多样性。此外,我们引入了一个跨模态转换模块来规范学到的特征,也可以用于缺失模态的泛化。我们证明了我们的框架在理论上得到了很好的支持,并在 EPIC-Kitchens 数据集和本文中介绍的新的 Human-Animal-Cartoon (HAC) 数据集上展示了其在多模态 DG 上的强大性能。我们的源代码和 HAC 数据集可以在 https://github.com/donghao51/SimMMDG 上找到。

成为VIP会员查看完整内容
47

相关内容

【NeurIPS2023】朝向自解释的图级异常检测
专知会员服务
30+阅读 · 2023年10月26日
【NeurIPS2023】将持续学习重新定义为序列建模
专知会员服务
35+阅读 · 2023年10月19日
专知会员服务
12+阅读 · 2021年7月16日
专知会员服务
15+阅读 · 2021年6月26日
专知会员服务
26+阅读 · 2021年5月23日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
63+阅读 · 2021年4月21日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
500+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关VIP内容
【NeurIPS2023】朝向自解释的图级异常检测
专知会员服务
30+阅读 · 2023年10月26日
【NeurIPS2023】将持续学习重新定义为序列建模
专知会员服务
35+阅读 · 2023年10月19日
专知会员服务
12+阅读 · 2021年7月16日
专知会员服务
15+阅读 · 2021年6月26日
专知会员服务
26+阅读 · 2021年5月23日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
63+阅读 · 2021年4月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员