Artificial intelligence (AI) is increasingly being used for medical imaging tasks. However, there can be biases in AI models, particularly when they are trained using imbalanced training datasets. One such example has been the strong ethnicity bias effect in cardiac magnetic resonance (CMR) image segmentation models. Although this phenomenon has been reported in a number of publications, little is known about the effectiveness of bias mitigation algorithms in this domain. We aim to investigate the impact of common bias mitigation methods to address bias between Black and White subjects in AI-based CMR segmentation models. Specifically, we use oversampling, importance reweighing and Group DRO as well as combinations of these techniques to mitigate the ethnicity bias. Second, motivated by recent findings on the root causes of AI-based CMR segmentation bias, we evaluate the same methods using models trained and evaluated on cropped CMR images. We find that bias can be mitigated using oversampling, significantly improving performance for the underrepresented Black subjects whilst not significantly reducing the majority White subjects' performance. Using cropped images increases performance for both ethnicities and reduces the bias, whilst adding oversampling as a bias mitigation technique with cropped images reduces the bias further. When testing the models on an external clinical validation set, we find high segmentation performance and no statistically significant bias.


翻译:人工智能(AI)在医学影像任务中的应用日益广泛。然而,AI模型可能存在偏见,尤其是在使用不平衡训练数据集进行训练时。心脏磁共振(CMR)图像分割模型中存在的强烈种族偏见效应便是其中一例。尽管多篇文献已报道这一现象,但该领域中偏见缓解算法的有效性仍鲜为人知。本研究旨在探究常见偏见缓解方法对基于AI的CMR分割模型中黑人与白人受试者间偏见的影响。具体而言,我们采用过采样、重要性重加权和群体分布鲁棒优化(Group DRO)及其组合技术来缓解种族偏见。其次,基于近期关于AI-CMR分割偏见根源的研究发现,我们使用在裁剪后CMR图像上训练和评估的模型对相同方法进行验证。研究发现:通过过采样可有效缓解偏见,显著提升代表性不足的黑人受试者性能,同时未显著降低占多数的白人受试者性能;使用裁剪图像可提升两个种族群体的性能并降低偏见,而结合裁剪图像与过采样技术能进一步减少偏见。在外部临床验证集上测试模型时,我们观察到较高的分割性能且未发现统计学显著的偏见。

0
下载
关闭预览

相关内容

大型语言模型中隐性与显性偏见的综合研究
专知会员服务
16+阅读 · 2025年11月25日
人工智能军事决策支持系统中的算法偏见问题
专知会员服务
33+阅读 · 2024年9月11日
人工智能模型中公平性追求的综述
专知会员服务
22+阅读 · 2024年3月30日
【MIT博士论文】序列决策中的算法公平性,134页pdf
专知会员服务
25+阅读 · 2023年5月20日
《研究认知偏见分类的证据》美国陆军2022最新56页论文
专知会员服务
23+阅读 · 2022年10月31日
【NeurIPS2019报告推荐】公平与表示学习—UIUC Sanmi Koyejo教授
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
医学知识图谱构建技术与研究进展
全球人工智能
19+阅读 · 2017年11月13日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员