Modern vision models increasingly rely on rich semantic representations that extend beyond class labels to include descriptive concepts and contextual attributes. However, existing datasets exhibit Semantic Coverage Imbalance (SCI), a previously overlooked bias arising from the long-tailed semantic representations. Unlike class imbalance, SCI occurs at the semantic level, affecting how models learn and reason about rare yet meaningful semantics. To mitigate SCI, we propose Semantic Coverage-Aware Network (SemCovNet), a novel model that explicitly learns to correct semantic coverage disparities. SemCovNet integrates a Semantic Descriptor Map (SDM) for learning semantic representations, a Descriptor Attention Modulation (DAM) module that dynamically weights visual and concept features, and a Descriptor-Visual Alignment (DVA) loss that aligns visual features with descriptor semantics. We quantify semantic fairness using a Coverage Disparity Index (CDI), which measures the alignment between coverage and error. Extensive experiments across multiple datasets demonstrate that SemCovNet enhances model reliability and substantially reduces CDI, achieving fairer and more equitable performance. This work establishes SCI as a measurable and correctable bias, providing a foundation for advancing semantic fairness and interpretable vision learning.


翻译:现代视觉模型日益依赖超越类别标签的丰富语义表示,这些表示涵盖描述性概念与上下文属性。然而,现有数据集普遍存在语义覆盖不平衡现象,这是一种由长尾语义表征引发的、先前被忽视的偏差。与类别不平衡不同,语义覆盖不平衡发生在语义层面,影响模型对稀有但具意义语义的学习与推理能力。为缓解此问题,我们提出语义覆盖感知网络,这是一种能够显式学习校正语义覆盖差异的新型模型。该网络集成了用于学习语义表示的语义描述符映射、动态加权视觉与概念特征的描述符注意力调制模块,以及将视觉特征与描述符语义对齐的描述符-视觉对齐损失函数。我们通过覆盖差异指数量化语义公平性,该指标衡量覆盖范围与误差之间的对齐程度。在多个数据集上的大量实验表明,SemCovNet显著提升了模型可靠性,并大幅降低了覆盖差异指数,实现了更公平均衡的性能表现。本研究将语义覆盖不平衡确立为一种可测量且可校正的偏差,为推进语义公平性与可解释视觉学习奠定了理论基础。

0
下载
关闭预览

相关内容

在无标注条件下适配视觉—语言模型:全面综述
专知会员服务
13+阅读 · 2025年8月9日
多模态视觉语言表征学习研究综述
专知会员服务
195+阅读 · 2020年12月3日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
网络表示学习概述
机器学习与推荐算法
19+阅读 · 2020年3月27日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关资讯
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
网络表示学习概述
机器学习与推荐算法
19+阅读 · 2020年3月27日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员