Medical data often exhibits long-tail distributions with heavy class imbalance, which naturally leads to difficulty in classifying the minority classes (i.e., boundary regions or rare objects). Recent work has significantly improved semi-supervised medical image segmentation in long-tailed scenarios by equipping them with unsupervised contrastive criteria. However, it remains unclear how well they will perform in the labeled portion of data where class distribution is also highly imbalanced. In this work, we present ACTION++, an improved contrastive learning framework with adaptive anatomical contrast for semi-supervised medical segmentation. Specifically, we propose an adaptive supervised contrastive loss, where we first compute the optimal locations of class centers uniformly distributed on the embedding space (i.e., off-line), and then perform online contrastive matching training by encouraging different class features to adaptively match these distinct and uniformly distributed class centers. Moreover, we argue that blindly adopting a constant temperature $\tau$ in the contrastive loss on long-tailed medical data is not optimal, and propose to use a dynamic $\tau$ via a simple cosine schedule to yield better separation between majority and minority classes. Empirically, we evaluate ACTION++ on ACDC and LA benchmarks and show that it achieves state-of-the-art across two semi-supervised settings. Theoretically, we analyze the performance of adaptive anatomical contrast and confirm its superiority in label efficiency.


翻译:医学数据常呈现长尾分布且存在严重类别不平衡,这自然导致少数类(即边界区域或稀有物体)难以分类。近期研究通过引入无监督对比准则,显著提升了长尾场景下半监督医学图像分割的性能。然而,在类别分布同样高度不平衡的标记数据部分,这类方法的表现尚不明确。本文提出ACTION++——一种基于自适应解剖对比的改进对比学习框架,用于半监督医学分割。具体而言,我们提出一种自适应监督对比损失:首先在嵌入空间上计算均匀分布的类中心最优位置(离线方式),然后通过鼓励不同类别特征自适应匹配这些均匀分布的类中心,进行在线对比匹配训练。此外,我们论证了在长尾医学数据上的对比损失中盲目采用恒定温度参数τ并非最优,提出通过简单余弦调度策略使用动态τ,以实现多数类与少数类之间的更好分离。实验表明,ACTION++在ACDC和LA基准测试中达到半监督设置下的最优性能。理论分析验证了自适应解剖对比的有效性,并确认其在标签效率方面的优越性。

1
下载
关闭预览

相关内容

专知会员服务
14+阅读 · 2021年10月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月19日
Arxiv
10+阅读 · 2021年2月26日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
20+阅读 · 2018年7月12日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关VIP内容
专知会员服务
14+阅读 · 2021年10月13日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员