视觉模型与视觉-语言模型在训练数据与测试数据遵循相同分布的独立同分布(IID)基准测试中已取得显著成果。然而,当面对分布外(OOD)数据(即分布与训练数据存在差异的数据)时,其性能通常会出现大幅退化。导致泛化能力缺失的关键原因在于捷径学习(Shortcut Learning)——即模型倾向于依赖虚假相关性或表面特征进行预测。这些特征在训练集中具有预测性,但并未反映结果背后的底层因果逻辑。捷径学习主要源于两个因素:(1) 训练数据频繁包含在其他分布中并不成立的虚假相关性;(2) 梯度优化算法倾向于损失景观中的平坦极小值(Flat Minima),而这些相关性往往对应于此类易于学习的极小值。因此,模型通常会优先学习非因果模式,而非稳健且可泛化的特征。 因此,缓解捷径学习对于提升 OOD 泛化至关重要。这一挑战可以从两个互补的视角予以解决。在数据层面,通过数据增强和合成数据生成等干预技术,可以打破虚假相关性并凸显不变特征(Invariant Features)。在模型层面,通过架构设计扩大与因果特征相关的极小值范围,同时抑制与捷径特征关联的极小值,能够促使模型学习到更具泛化性的特征。上述方法协同作用,共同促进了稳健表示的构建并提升了 OOD 泛化表现。本论文将捷径学习视为视觉及视觉-语言模型在分布外泛化中所面临的基础性挑战,并在视频识别、视频生成以及视觉-语言理解等一系列任务中对其进行了深入研究。这些任务涵盖了从单模态判别到像素级生成,再到跨模态推理的演进过程,从而能够在表征与建模需求不断增加的情况下,对捷径缓解策略进行系统的评估。 在视频动作识别任务中,我们引入了旨在缓解静态视觉线索所导致的捷径学习的数据增强技术。我们提出了 StillMix,该方法在保持视频动作标签不变的前提下,将诱导偏差的静态帧混入训练视频中。这种增强手段破坏了静态特征与动作标签之间的虚假相关性,从而增强了模型对 OOD 视觉表现的泛化能力。 在小样本人体动作生成任务中,我们提出了一种结合数据增强与模型设计的策略,以缓解由外观线索驱动的捷径学习。我们引入了 FLASH,通过构建具有相同动作但外观不同的视频对,并在两组视频间进行特征对齐,以促进可迁移运动表示的学习。该方法降低了低数据量场景下的外观过拟合,增强了运动泛化性。 在视觉-语言组合理解任务中,我们开发了合成数据生成技术,以减少模型对粗粒度视觉-文本对齐的依赖。我们提出了 SPARCL,通过生成具有细微变化的模态数据并训练模型识别这些差异,提升了模型捕捉超越表层相关性的组合语义的能力。 综上所述,这些研究贡献表明,通过数据干预与模型设计来缓解捷径学习,是提升视觉及视觉-语言任务 OOD 泛化能力的关键。

成为VIP会员查看完整内容
9

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【NTU博士论文】基础模型的高效适配
专知会员服务
14+阅读 · 3月24日
【NTU博士论文】让语言模型成为更类人的学习者
专知会员服务
23+阅读 · 2025年9月23日
【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
【NTU博士论文】面向视觉能力神经模型的资源高效学习
专知会员服务
24+阅读 · 2025年1月2日
《分布外泛化评估》综述
专知会员服务
44+阅读 · 2024年3月6日
【KAUST博士论文】高效视觉语言基础模型学习,197页pdf
专知会员服务
36+阅读 · 2024年1月1日
【NTU博士论文】语言模型自适应迁移学习
专知会员服务
38+阅读 · 2023年12月20日
【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
最新内容
自主、人工智能与可消耗集群时代的海军情报
专知会员服务
4+阅读 · 今天9:50
“史诗狂怒行动”中的海军动态
专知会员服务
8+阅读 · 4月5日
大语言模型同策略蒸馏研究综述
专知会员服务
7+阅读 · 4月5日
无人机蜂群:研究、挑战、未来发展方向
专知会员服务
11+阅读 · 4月4日
【博士论文】已对齐 AI 系统的持续脆弱性
专知会员服务
8+阅读 · 4月3日
潜空间综述:基础、演化、机制、能力与展望
专知会员服务
13+阅读 · 4月3日
《人工智能时代的国防工业政策》
专知会员服务
9+阅读 · 4月3日
相关VIP内容
【NTU博士论文】基础模型的高效适配
专知会员服务
14+阅读 · 3月24日
【NTU博士论文】让语言模型成为更类人的学习者
专知会员服务
23+阅读 · 2025年9月23日
【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
【NTU博士论文】面向视觉能力神经模型的资源高效学习
专知会员服务
24+阅读 · 2025年1月2日
《分布外泛化评估》综述
专知会员服务
44+阅读 · 2024年3月6日
【KAUST博士论文】高效视觉语言基础模型学习,197页pdf
专知会员服务
36+阅读 · 2024年1月1日
【NTU博士论文】语言模型自适应迁移学习
专知会员服务
38+阅读 · 2023年12月20日
【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员