综述：多模态遗忘，覆盖视觉、语言、视频与音频的方法、数据集和基准

导读

随着 VLM、扩散模型、LLM 和音频基础模型被大规模部署，模型训练数据中潜藏的敏感身份、版权内容、偏见关联、危险概念和跨模态不安全映射，都会被写入共享表示中。现实场景里，一旦用户提出删除请求、监管政策变化，或者平台发现某类内容不应继续被模型生成，重新训练整个多模态基础模型通常成本过高，甚至不可行。 这篇 ACL Findings 2026 综述系统梳理了 Multimodal Unlearning，多模态遗忘：如何在视觉、语言、视频和音频模型中选择性移除目标知识，同时尽量保留模型原有能力。论文的核心贡献是提出一个系统优先的 taxonomy，把多模态遗忘方法按“干预阶段”和“控制路径”组织起来，并进一步总结相关数据集、基准、评估维度、应用场景和开放挑战。

与单模态遗忘相比，多模态遗忘更难：要忘掉的内容可能不是一个孤立 token、图片类别或音频片段，而是跨图像、文本、视频、音频共同形成的关联。例如，一个人物身份可能同时存在于图像、人名、语音、视频动作和问答知识中；一个版权风格可能存在于图像生成提示、视觉特征和文本描述中。真正的遗忘必须处理这种跨模态耦合。

1. Introduction / 引言

多模态基础模型依赖大规模图文、视频、语音和文本数据训练，具备强大的感知、推理与生成能力。但同样因为训练语料庞大且来源复杂，模型可能记住敏感身份、版权作品、有害概念、偏见关联和不安全行为。对于这类问题，简单删除数据并重新训练模型并不现实，尤其是在扩散模型、视觉语言模型和大规模音频模型中，训练成本和部署周期都很高。

机器遗忘的目标是让模型移除特定训练数据、概念或行为的影响，同时保持非目标能力。论文强调，多模态遗忘不应只被看成算法问题，而应被看成系统问题：遗忘目标是什么，在哪个阶段干预，如何控制副作用，如何评估遗忘是否真实发生，如何保证剩余能力、鲁棒性和效率。 现有综述往往聚焦单模态，或者围绕算法家族组织。本文则从系统角度统一视觉、语言、音频和视频场景，比较数据侧干预、训练时编辑、架构约束、免训练遗忘和解码时控制，并讨论跨模态泛化、评估可靠性与部署约束。

2. Preliminaries and Problem Setup / 预备知识与问题设置

多模态遗忘的基本对象是一个已经训练好的多模态基础模型。给定需要遗忘的目标集合，系统希望得到更新后的模型，使其对目标内容的依赖显著下降，但在保留集合上的能力尽量不变。遗忘目标可以是实例级，也可以是概念级。 实例级遗忘关注具体样本、身份或数据条目，例如删除某个人脸、某段语音或某条图文样本的影响。概念级遗忘关注更抽象的类别、风格、属性、危险概念或版权模式，例如移除某位艺术家的风格、某种 NSFW 生成能力、某类偏见关联或特定危险知识。 多模态场景带来三个额外难点。第一，知识分布在共享表示中，某个目标可能同时出现在视觉 token、文本 token、音频 embedding 和跨模态对齐层里。第二，遗忘会产生连带影响，删除某个身份或概念可能损害相关但不应删除的能力。第三，评估不能只看单一输出，需要同时衡量遗忘强度、保留能力、安全性、鲁棒性、效率和可逆性。

3. Taxonomy of Multimodal Unlearning Methods / 多模态遗忘方法分类

论文将方法按干预阶段和控制路径组织。这个 taxonomy 的好处是，不再只按“梯度法、微调法、投影法”等算法标签分类，而是问：系统在什么位置介入？控制信号如何施加？对模型参数、表示、输入数据或解码过程产生什么影响？

数据侧干预

数据侧干预在训练前或再训练前改变数据路径。典型方法包括数据路径扰动、数据清洗和提示规范化。它们不直接修改模型内部，而是减少目标内容进入训练或更新流程的机会。优点是概念清晰、部署风险相对低；缺点是对已经训练好的模型影响有限，并且很难处理已经被编码进共享表示的知识。

训练时编辑

训练时编辑直接在模型更新阶段介入，是当前多模态遗忘中最常见的类别。论文细分为直接梯度、约束更新、mask 驱动选择性遗忘和蒸馏式方法。直接梯度方法通过反向优化降低目标知识影响；约束更新方法在遗忘目标和保留能力之间加入显式约束；mask 方法只更新与遗忘目标相关的参数或模块；蒸馏方法则用教师-学生或保留目标帮助模型忘掉不该保留的行为。 这类方法通常遗忘强度较高，但也容易带来副作用：保留能力下降、跨模态对齐受损、对抗提示恢复遗忘知识，或者在相邻概念上出现过度遗忘。

架构约束

架构约束方法通过编辑特定架构组件或层级来实现遗忘，例如修改 attention、projection、adapter、LoRA 或多模态融合层。与全量微调相比，它更强调局部化干预：只改变与目标概念相关的结构，尽量避免破坏主干模型。 这类方法适合大型基础模型部署，因为成本更低、可控性更强，也更容易做版本管理。但挑战在于如何准确定位目标知识所在的子空间、层或模块；定位不准会导致遗忘不足或误伤保留能力。

免训练遗忘

免训练遗忘不依赖大规模再训练，常见方式包括权重空间线性遗忘和表示投影。它们通常构造一个“遗忘方向”或“目标子空间”，然后在权重或表示中移除相关分量。优势是速度快、成本低、便于事后处理；不足是遗忘深度有限，且对目标子空间估计质量高度敏感。 对于扩散模型和视觉语言模型，免训练方法很有吸引力，因为实际应用中常常需要快速响应版权、隐私或安全请求。但这也要求方法能证明它不是仅仅隐藏输出，而是真正降低了目标知识影响。

解码时控制

解码时控制在生成阶段干预，不直接更新模型参数。典型做法是修改 guidance path、conditioning path 或采样过程，使模型在生成时避开目标概念或危险内容。它对部署友好，能与已有采样器和安全过滤器结合。 但解码时方法常被质疑“遗忘”是否充分：如果模型内部仍保留目标知识，只是在生成时被压制，那么面对对抗提示、提示改写或越狱攻击时，目标内容可能再次出现。因此它更适合作为安全控制层，而不是完整替代模型级遗忘。

4. Datasets for Multimodal Unlearning / 多模态遗忘数据集

论文将数据集按遗忘设置组织，包括身份遗忘、情感和视频遗忘、个性化设置、版权遗忘、知识问答、语音遗忘、安全鲁棒性、Web-scale 数据清洗和图像分类遗忘等。 身份遗忘常用 CelebA、CelebA-HQ、Flickr-Faces HQ、CASIA-WebFace、VGGFace2 等人脸数据集，也包括 VoxCeleb1 等语音身份数据。版权和风格遗忘常涉及艺术风格、图像生成和文本提示数据。视频遗忘可使用动作识别或视频片段数据。安全鲁棒性则会构造有害文本-图像输入、NSFW prompt、危险问答或越狱攻击集合。 论文指出，数据集选择会直接影响结论。某些方法在身份遗忘上有效，并不意味着能迁移到版权风格、视频动作或语音说话人遗忘；某些只在小规模合成数据上验证的方法，也难以说明其在真实 Web-scale 多模态模型中的可靠性。

5. Multimodal Unlearning Benchmarks / 多模态遗忘基准

基准的作用是让不同方法在统一任务、统一指标和统一数据切分下比较。论文整理了近期多模态遗忘基准，覆盖身份、隐私、内容安全、版权、概念删除、模型安全和推荐系统等目标。 多模态基准需要同时报告遗忘目标、输出模态、任务类型、规模和评估目标。一个好的基准不应只问“目标内容是否少生成了”，还要问：模型是否仍能完成非目标任务？是否产生幻觉或拒答过度？是否能抵抗提示改写和对抗攻击？是否在图像、文本、音频和视频之间一致遗忘？ 当前基准仍较分散。视觉和图文模型已有较多 benchmark，而音频、视频和跨模态长链路遗忘仍明显不足。论文因此强调统一 benchmark 的重要性，尤其需要覆盖不同架构、不同模态和不同遗忘目标。

6. Evaluation Metrics Overview / 评估指标概览

多模态遗忘评估必须同时衡量“忘得掉”和“保得住”。论文总结了六类评估维度：遗忘质量与安全性、安全和内容遗忘、攻击式隐私、效用与忠实性、对抗鲁棒性、计算与环境成本。

遗忘质量常用 Unlearning Accuracy、Forget Accuracy、CLIP 类别下降、相似度下降、Wasserstein 距离等指标。安全遗忘关注拒答率、有害内容率和 VLM-as-Judge 判断。隐私攻击关注 membership inference、身份匹配、相似度检索和说话人识别等。效用评估则看 Top-k accuracy、Recall@K、BLEU、CLIP Score、FID、LPIPS，以及 LLM/VLM/human judge。 论文特别提醒，单一指标很容易误导。例如生成模型可能降低目标 prompt 下的输出概率，但仍能通过改写 prompt 恢复目标内容；模型可能忘掉某个身份，却误伤同类非目标身份；也可能看似安全，但只是拒答过度，损害正常能力。因此评估需要多维组合。

7. Multimodal Unlearning Applications / 应用场景

多模态遗忘的应用主要集中在隐私与合规、安全对齐生成、版权和风格治理、公平性与可靠性、个性化和偏好控制、供应链与后门安全等方向。

在隐私合规中，模型需要响应个人数据删除、身份移除和敏感属性控制。在安全生成中，系统要移除危险内容、NSFW 模式或违规提示响应。在版权场景中，图像和音频生成模型需要控制特定艺术家风格、作品片段或受保护内容。在个性化场景中，用户可能希望删除某些偏好、历史或个性化行为。 供应链与后门安全也是重要方向。多模态模型可能通过数据污染、恶意图文对、触发器或后门样本被植入不安全行为。遗忘方法可以作为模型修复工具，在不完全重训的情况下移除异常关联。

8. Open Challenges / 开放挑战

论文将开放挑战总结为理论保证、跨模态泛化、评估可靠性、对抗鲁棒性、效用权衡和统一基准六个方面。

理论保证仍然不足。很多方法能在经验上降低目标输出，但很难证明目标知识在模型内部被移除，也难以界定“遗忘”和“隐藏”的区别。 跨模态泛化是多模态遗忘的核心难题。删除图像中的人物身份，并不等于文本问答、语音、视频和跨模态检索中都忘掉了该身份。未来需要能测试跨模态泄漏和迁移的评估方案。 评估可靠性同样关键。现有评估常依赖小规模合成集合、单一模型或特定 prompt，结论容易受评估设计影响。对抗鲁棒性也不足，目标知识可能通过 prompt 改写、语义绕行、多轮交互或跨模态提示被恢复。 最后是效用权衡和统一基准。遗忘越强，越可能损害非目标能力；保留能力越高，又可能遗忘不彻底。没有统一基准和报告规范，就很难判断不同方法的真实优劣。

9. Conclusion / 结论

这篇综述的价值在于把多模态遗忘从零散算法问题提升为系统问题。论文不仅总结了视觉、语言、视频和音频中的遗忘方法，还把干预阶段、控制路径、数据集、基准和评估维度放在同一框架下比较。 对于未来研究，最重要的问题不是单纯追求更高的遗忘率，而是构建可验证、可迁移、可部署的遗忘系统。一个成熟的多模态遗忘方案需要同时回答：目标内容是否真正被移除？保留能力是否稳定？跨模态是否一致？对抗攻击下是否可靠？计算成本是否可接受？是否满足隐私、版权和安全治理需求？ 随着多模态基础模型进入真实产品，多模态遗忘会成为模型治理的关键能力。它不仅关系到隐私合规和版权保护，也关系到模型安全、偏见修复、个性化控制和供应链风险。本文提供的 taxonomy、数据集整理和评估框架，为后续研究和部署提供了较清晰的路线图。