Pretrained Multimodal Large Language Models (MLLMs) are increasingly used in sensitive domains such as medical AI, where privacy regulations like HIPAA and GDPR require specific removal of individuals' or institutions' data. This motivates machine unlearning, which aims to remove the influence of target data from a trained model. However, existing unlearning benchmarks fail to reflect the hierarchical and multimodal structure of real-world medical data, limiting their ability to properly evaluate unlearning in practice. Therefore, we introduce MedForget, a hierarchy-aware multimodal unlearning benchmark that models hospital data as a nested structure, enabling fine-grained evaluation of multimodal unlearning across retain and forget splits. Experiments with current unlearning methods show that existing approaches struggle to achieve effective hierarchy-aware forgetting without degrading downstream medical utility. To address this limitation, we propose Cross-modal Hierarchy-Informed Projection for unlearning (CHIP), a training-free, hierarchy-aware multimodal unlearning method that deletes information by selectively removing target-specific weight subspaces while preserving sibling-shared information. Experiments show that CHIP achieves the highest forget-retain performance gap across all hierarchy levels while maintaining competitive downstream utility compared to existing methods. Overall, MedForget provides a practical, HIPAA-aligned benchmark for evaluating structured multimodal unlearning for medical data, and CHIP offers an effective and general solution for hierarchy-aware forgetting that balances deletion with utility.


翻译:预训练多模态大语言模型(MLLMs)在医疗人工智能等敏感领域的应用日益广泛,其中《健康保险流通与责任法案》(HIPAA)和《通用数据保护条例》(GDPR)等隐私法规要求对特定个人或机构的数据进行定向删除。这推动了机器遗忘技术的发展,其目标是从已训练模型中消除目标数据的影响。然而,现有遗忘基准未能反映真实世界医疗数据的层次化与多模态结构,限制了其在实践中对遗忘效果进行恰当评估的能力。为此,我们提出了MedForget——一个层次感知的多模态遗忘基准,该基准将医院数据建模为嵌套结构,从而能够对保留集与遗忘集之间的多模态遗忘效果进行细粒度评估。通过对现有遗忘方法的实验表明,当前方法难以在保持下游医疗效用的前提下实现有效的层次感知遗忘。为应对这一局限,我们提出了跨模态层次信息投影遗忘法(CHIP),这是一种无需重新训练、具备层次感知能力的多模态遗忘方法,通过选择性移除目标特定权重子空间并保留兄弟节点共享信息来实现信息删除。实验证明,CHIP在所有层次级别上均实现了最高的遗忘-保留性能差距,同时相较于现有方法保持了具有竞争力的下游效用。总体而言,MedForget为评估医疗数据的结构化多模态遗忘提供了符合HIPAA标准的实用基准,而CHIP则为平衡信息删除与模型效用的层次感知遗忘提供了高效通用的解决方案。

0
下载
关闭预览

相关内容

面向医学的多模态大型语言模型:全面综述
专知会员服务
25+阅读 · 2025年5月1日
当持续学习遇上多模态大型语言模型:综述
专知会员服务
32+阅读 · 2025年3月5日
MME-Survey:多模态大型语言模型评估的综合性调查
专知会员服务
43+阅读 · 2024年12月1日
机器遗忘:分类、指标、应用、挑战与展望
专知会员服务
36+阅读 · 2024年3月16日
【AI与医学】多模态机器学习精准医疗健康
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
【综述】医疗可解释人工智能综述论文
专知
33+阅读 · 2019年7月18日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员