综述 | A Survey on LLM Watermarking: Theory and Deployment 大模型水印理论与部署

导读

大模型生成内容越来越像人类写作,这让“内容从哪里来”“是否由 AI 生成”“是否存在模型滥用或服务盗用”等问题变得更难判断。LLM watermarking,即大模型文本水印,正是在这个背景下被提出:在模型输出中嵌入人类不易感知、但机器可检测的隐藏信号,用于来源追踪、版权保护、审计和治理。 这篇综述《A Survey on LLM Watermarking: Theory and Deployment》关注的不是单一算法,而是一个更接近部署视角的系统问题:水印应当在生成过程中嵌入,还是在文本生成后处理?检测权应当掌握在模型服务商手里,还是可以公开验证?方法需要访问 logits、采样过程、密钥或模型权重吗?面对改写、翻译、摘要、风格迁移、token 操作和自适应攻击时,水印还能保留多少可检测性? 论文的一个重要判断是:水印确实能增强生成文本的独特性和可追踪性,但目前还不能被简单视为可直接落地的万能方案。更强的可检测性往往意味着更强的生成控制、更大的分布扰动和潜在的效用下降;更轻量、更隐蔽的水印又可能在改写、翻译和多阶段处理后迅速失效。因此,LLM 水印本质上是一组安全性、鲁棒性、效用、公平性、隐私和治理之间的系统权衡。

论文信息

论文题目:A Survey on LLM Watermarking: Theory and Deployment 论文链接:https://arxiv.org/abs/2607.10103 论文版本:arXiv:2607.10103v1,2026 年 7 月 11 日 作者:Huy Phan、Kieu Dang、Ojaswi Dulal、Aiham Al Shukairi、Abby Shine、Chase Garner、Phung Lai 研究主题:大语言模型水印、来源追踪、版权保护、攻击鲁棒性、可信部署 本文说明:原文第 3 章和第 4 章标题都为 “Watermarking Techniques in LLMs”。第 3 章更偏按嵌入时机进行方法划分,第 4 章更偏对代表性技术进行展开比较。本文保留原文一级结构,并在中文解读中区分其功能。

1 Introduction 引言

论文首先指出,大语言模型已广泛用于文本生成、翻译、问答、摘要和对话等任务。由于生成文本越来越流畅,区分人类写作与机器生成变得困难。这会带来两类直接问题:一是内容真实性和责任归属不清,二是商业模型可能被恶意查询、蒸馏或模仿,进而造成知识产权风险。 水印被视为一种相对实用的防护层。基本思路是在模型输出中嵌入不可见模式,之后通过统计测试、密钥验证或检测器判断文本是否来自某个模型或服务。典型方法是在 token 生成时偏置 logits,让模型更倾向于选择某些“绿色 token”;也可以在输出后进行同义词替换、句式改写或语义级嵌入,从而在不明显影响可读性的情况下留下检测信号。 论文强调,已有 LLM 水印综述不少,但许多分类混合了不同维度,例如嵌入位置、检测权限、攻击假设和部署约束,导致方法之间难以比较。本文的贡献是从部署关键问题出发系统化整理:水印嵌入在哪里,谁有权检测,需要哪些访问权限或秘密信息,目标威胁模型是什么,以及这些设计如何影响可检测性、鲁棒性和文本效用。 作者还给出一个偏谨慎的结论:水印能显著增强输出的独特性和可追踪性,但会在不同程度上影响模型效用;攻击水印往往也会让文本质量下降。由于这种安全-效用权衡尚未充分解决,当前 LLM 水印还不能被视为完全成熟的真实部署方案。

2 Large Language Models and Risks 大语言模型与风险

大模型基础

论文先简要回顾大语言模型的技术基础。现代 LLM 多基于 Transformer 架构,通过自注意力机制建模长距离依赖,并在大规模文本上进行自监督训练。自回归模型如 GPT 通过预测下一个 token 生成文本,掩码语言模型如 BERT 则通过预测被遮蔽 token 学习双向表示。 这部分内容的作用,是为后续讨论水印提供背景:水印通常作用于 token 生成、采样分布、语义表示或生成后文本,因此必须理解模型如何把输入映射为概率分布,又如何通过采样形成最终文本。

大模型风险

论文将 LLM 风险分成五类。 第一类是知识产权与记忆风险。模型可能记住并复现训练数据中的私有文本、版权内容或罕见样本。水印可以帮助判断某段可疑文本是否来自模型输出,但不能阻止模型在训练中记忆敏感内容。 第二类是错误信息和有害内容生成。LLM 能生成流畅但错误、虚构或有害的内容。水印可用于识别 AI 生成文本,辅助追责和审计,但简单改写、翻译和风格编辑可能移除水印信号,因此它不能单独阻止错误信息传播。 第三类是真实性、归因和问责。教育、新闻、医疗和社交媒体等场景都需要知道文本是谁写的、谁应负责。水印可提供隐藏来源标记,但只有在生成端确实部署水印且文本未被破坏时才有效。 第四类是安全与模型滥用。LLM 可被用于垃圾信息、诈骗、宣传、社会工程等。水印有助于追踪恶意生成内容,但攻击者可以通过改写、翻译或混合人类文本来降低检测成功率。 第五类是更广泛的社会和公平风险。模型可能放大偏见、生成冒犯内容,水印检测也可能对某些语言、方言或群体产生更高误判率。也就是说,水印不只是技术工具,还会引入公平、隐私和治理问题。 论文在这一章形成一个关键判断:水印是治理 LLM 风险的一层工具,而不是完整解决方案。它应与访问控制、审计、检测、内容政策、隐私保护和法律治理共同使用。

3 Watermarking Techniques in LLMs 水印技术

生成时水印

生成时水印是在 LLM 生成文本的过程中嵌入信号。它通常需要控制模型采样或 logits,因此更适合模型服务商、开源模型部署方或拥有解码控制权的系统。 最经典的路线是将词表按密钥伪随机划分为绿色 token 和红色 token。生成时模型对绿色 token 施加轻微偏置,使输出中绿色 token 的比例高于自然分布。检测时,系统统计文本中绿色 token 的出现频率,如果显著高于阈值,就判定存在水印。该思路直观、可统计检验,但对短文本、低熵文本、同义替换和改写较敏感。 后续工作从多个方向改进。高熵自适应方法只在模型不确定的位置嵌入水印,以减少对文本质量的影响;无偏水印试图在保持原始输出分布期望不变的同时实现检测;语义水印将信号嵌入句子或语义空间,以增强对改写的鲁棒性;SynthID、WaterMax、ModelShield 等系统则从大规模部署、候选输出选择、自水印防护等角度探索工程化方案。 生成时水印的优势是可检测性强,信号与生成过程紧密耦合;限制是需要生成端配合,且可能引入分布偏移、文本质量下降或额外计算开销。

生成后水印

生成后水印是在文本已经生成之后再嵌入信号。它不需要访问模型权重或采样过程,更适合黑箱模型、第三方内容管线和后处理平台。 常见方法包括词汇替换、同义词替换、上下文感知替换、语义相似词插入和深度学习式文本隐藏。比如,系统可以选择少量词语替换为语义相近但带有密钥模式的候选词;检测时再根据词表、嵌入相似度或分类器判断水印是否存在。PostMark、DeepTextMark 等方法代表了这一方向。 生成后水印的优势是部署灵活、可用于闭源模型输出,也便于接入内容审核和版权管线;缺点是信号更容易被强改写、摘要和翻译破坏,并且需要在语义保持、自然性和可检测性之间仔细平衡。

4 Watermarking Techniques in LLMs 具体方法比较

方法谱系

原文第 4 章进一步展开代表性技术。生成时方法包括 KGW、Unigram-WM、SIR、Adaptive-WM、Unbiased-WM、UPV、EXP、SynthID、WaterMax、SemStamp、k-SemStamp、Undetectable-WM、ModelShield 等。它们分别在 token 划分、语义嵌入、无偏采样、公共验证、候选生成、多句语义水印和模型提取防护上做取舍。 这些方法的共同问题是:如果要增强鲁棒性,通常需要更强的生成控制、更复杂的密钥机制或更大的计算开销;如果要尽量不改变输出分布,则检测信号可能更弱,面对短文本和低熵上下文时更难识别。

后处理路线

后处理水印方法则集中在语义替换、参数调制、上下文哈希和自适应容量控制等路线。 语义替换方法通过固定私有词表或嵌入表选择可替换词,突出语义稳定性和黑箱可用性。统计偏置方法通过密钥选择 token 子集,并在输出层或文本替换中累积统计信号,突出检测强度。上下文哈希方法把当前上下文和候选 token 绑定到密钥哈希上,适合长文本,但要求生成与检测时上下文重构一致。自适应控制方法根据不同 token 的容量和风险调整嵌入强度,目标是降低质量损失。 这一章的核心结论是:不同水印技术不是简单优劣关系,而是面向不同部署条件的设计组合。语义替换偏重意义保持,统计偏置偏重检测强度,上下文哈希偏重长文本鲁棒性,自适应控制偏重质量保护。

5 Trustworthiness in Watermarking 水印可信性

可信框架

论文将可信 LLM 水印拆成六个维度:可解释性、公平性、鲁棒性与安全性、隐私、问责、可靠性与效用。图 2 给出了一个更简洁的框架,将它们浓缩为可解释性、公平性、鲁棒安全、可靠效用四根支柱。

可解释性要求开发者、审计者和监管者能理解水印如何嵌入、检测阈值如何设定、哪些文本片段对检测贡献最大。如果检测器只给出黑箱二分类结论,在高风险场景中就很难支撑问责。 公平性要求不同语言、方言、文体和群体不应承担系统性质量损失或更高误判率。水印如果在少数语言上更容易误判,或让特定表达风格的输出质量更差,就可能加剧数字鸿沟。 鲁棒性和安全性要求水印在改写、摘要、翻译、错别字、token 替换和文本混合后仍能被检测,同时还要抵御伪造攻击。论文指出,强鲁棒性与抗伪造之间可能存在张力:越容易被检测和保留的模式,也可能越容易被攻击者模仿。

攻击与对抗

论文重点讨论了三类攻击。 第一是移除攻击,即在保持语义的同时消除水印信号。常见方式包括大模型改写、DIPPER 等释义模型、回译、同义词替换、拼写扰动、句子扩展或压缩,以及把水印文本和人类文本混合以稀释信号。 第二是伪造攻击,即攻击者试图把有效水印注入非模型文本,从而造成错误归因。这会削弱检测器可信度,也可能让服务商被错误追责。 第三是自适应攻击。攻击者通过黑箱查询推断水印规则,或者在白箱场景中修改模型结构,使水印验证失效但模型功能仍保留。这类攻击对真实部署尤其重要,因为攻击者会根据检测反馈不断调整策略。

多比特水印与隐私

传统零比特水印只回答一个问题:这段文本是否由某个模型生成。多比特水印则希望嵌入更多信息,例如用户、会话、组织、时间或授权编号,从而支持更细粒度归因。

多比特水印带来容量问题。容量通常以每 token 可嵌入多少比特衡量。容量越高,可携带信息越多,但比特错误率也可能上升,并进一步影响文本质量和追踪可靠性。

这也引出隐私问题。细粒度归因有利于责任追踪,但如果嵌入用户或会话信息,就需要处理数据最小化、密钥管理、访问控制和滥用风险。水印系统不能只追求“检测更准”,还要回答谁能检测、检测结果如何使用、用户是否知情,以及如何防止过度追踪。

问责、可靠性与效用

论文强调,水印检测结果是概率性证据,不应被当作绝对作者证明。开发者需要说明方法假设、阈值、误报率、漏报率和已知失效场景。尤其在教育、法律、媒体和平台治理中,错误检测可能带来严重后果。 可靠性和效用是部署成败的最后一关。许多水印通过限制或偏置下一个 token 分布实现检测,因此不可避免会影响困惑度、流畅性和下游任务表现。论文引用的例子显示,水印强度、检测置信度和文本质量之间存在明显冲突。

此外,水印不仅要在生成文本上可检测,还要在摘要、问答、代码生成、信息检索等下游任务中维持可用性。若一个方法只在开放式生成上表现不错,却显著损害任务准确率、事实性或用户体验,就难以真实部署。

6 Conclusion 结论

论文最后将 LLM 水印总结为一个系统权衡问题。它是来源追踪、归因和审计的重要技术层,但现有研究仍存在假设混杂、检测权限不清、威胁模型不统一和评测协议不稳定等问题。 从部署视角看,一个水印方案至少要回答四个问题:信号嵌入在哪里,谁能检测,需要哪些访问权限或密钥,能够抵御哪些攻击。类似的算法外观可能对应完全不同的安全保证和使用边界。 作者认为,未来进展需要三个方向。第一,建立标准化 benchmark 和报告规范,尤其是校准、误报控制、鲁棒性曲线和跨模型迁移评测。第二,加强对自适应移除、伪造、翻译、摘要、混合文本和多阶段处理管线的评估。第三,设计能在工具调用、多模态、多模型和真实内容生产流程中保持可靠性的水印系统。 总体来看,大模型水印不是“给文本盖章”这么简单,而是生成机制、统计检测、密钥治理、攻击防御、用户隐私和平台规则共同构成的可信 AI 基础设施。它的现实价值很大,但只有在可解释、公平、鲁棒、低误报、低质量损失和清晰治理框架同时成立时,才可能真正成为大规模 AI 内容治理中的可靠组件。

成为VIP会员查看完整内容
6

相关内容

可靠且负责任的基础模型:全面综述
专知会员服务
20+阅读 · 2月10日
面向 AI 生成图像的安全与鲁棒水印:全面综述
专知会员服务
14+阅读 · 2025年10月6日
扩散模型时代的可视水印:进展与挑战
专知会员服务
7+阅读 · 2025年5月17日
知识图谱与大模型融合综述
专知会员服务
120+阅读 · 2024年6月30日
【UIUC博士论文】迈向可信的大型语言模型,312页pdf
专知会员服务
41+阅读 · 2024年6月8日
大模型时代下的文本水印综述
专知会员服务
35+阅读 · 2024年1月26日
专知会员服务
30+阅读 · 2021年7月16日
对抗攻击之利用水印生成对抗样本
计算机视觉life
10+阅读 · 2020年9月27日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
35+阅读 · 2020年6月3日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
25+阅读 · 2023年6月23日
VIP会员
最新内容
深入Project Maven:为何人工智能在战场上依然失灵
专知会员服务
4+阅读 · 今天15:21
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
0+阅读 · 今天15:12
《无人机蜂群通信技术研究》50页
专知会员服务
4+阅读 · 今天14:55
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
3+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
7+阅读 · 7月17日
相关VIP内容
可靠且负责任的基础模型:全面综述
专知会员服务
20+阅读 · 2月10日
面向 AI 生成图像的安全与鲁棒水印:全面综述
专知会员服务
14+阅读 · 2025年10月6日
扩散模型时代的可视水印:进展与挑战
专知会员服务
7+阅读 · 2025年5月17日
知识图谱与大模型融合综述
专知会员服务
120+阅读 · 2024年6月30日
【UIUC博士论文】迈向可信的大型语言模型,312页pdf
专知会员服务
41+阅读 · 2024年6月8日
大模型时代下的文本水印综述
专知会员服务
35+阅读 · 2024年1月26日
专知会员服务
30+阅读 · 2021年7月16日
相关资讯
对抗攻击之利用水印生成对抗样本
计算机视觉life
10+阅读 · 2020年9月27日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
35+阅读 · 2020年6月3日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员