Artificial intelligence systems introduce complex privacy risks throughout their lifecycle, especially when processing sensitive or high-dimensional data. Beyond the seven traditional privacy threat categories defined by the LINDDUN framework, AI systems are also exposed to model-centric privacy attacks such as membership inference and model inversion, which LINDDUN does not cover. To address both classical LINDDUN threats and additional AI-driven privacy attacks, PriMod4AI introduces a hybrid privacy threat modeling approach that unifies two structured knowledge sources, a LINDDUN knowledge base representing the established taxonomy, and a model-centric privacy attack knowledge base capturing threats outside LINDDUN. These knowledge bases are embedded into a vector database for semantic retrieval and combined with system level metadata derived from Data Flow Diagram. PriMod4AI uses retrieval-augmented and Data Flow specific prompt generation to guide large language models (LLMs) in identifying, explaining, and categorizing privacy threats across lifecycle stages. The framework produces justified and taxonomy-grounded threat assessments that integrate both classical and AI-driven perspectives. Evaluation on two AI systems indicates that PriMod4AI provides broad coverage of classical privacy categories while additionally identifying model-centric privacy threats. The framework produces consistent, knowledge-grounded outputs across LLMs, as reflected in agreement scores in the observed range.


翻译:人工智能系统在其整个生命周期中,尤其是在处理敏感或高维数据时,会引入复杂的隐私风险。除了LINDDUN框架定义的七类传统隐私威胁外,AI系统还面临LINDDUN未涵盖的以模型为中心的隐私攻击,例如成员推理和模型反演。为同时应对经典LINDDUN威胁和额外的AI驱动隐私攻击,PriMod4AI提出了一种混合隐私威胁建模方法。该方法统一了两个结构化知识源:代表既定分类体系的LINDDUN知识库,以及捕获LINDDUN范围外威胁的以模型为中心的隐私攻击知识库。这些知识库被嵌入向量数据库以实现语义检索,并与从数据流图提取的系统级元数据相结合。PriMod4AI采用检索增强和数据流特定的提示生成技术,引导大语言模型识别、解释和分类跨生命周期阶段的隐私威胁。该框架生成基于分类体系的合理性威胁评估,整合了经典视角与AI驱动视角。在两个AI系统上的评估表明,PriMod4AI能广泛覆盖经典隐私威胁类别,同时额外识别以模型为中心的隐私威胁。该框架在不同LLM上均能产生一致且基于知识的输出,其一致性评分处于观测范围内。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
机密计算保障人工智能系统安全研究报告
专知会员服务
19+阅读 · 2025年1月20日
深度学习模型安全:威胁与防御,176页pdf
专知会员服务
28+阅读 · 2024年12月13日
大模型安全与对齐:复杂系统视角下的AI安全
专知会员服务
48+阅读 · 2024年1月2日
人工智能模型数据泄露的攻击与防御研究综述
专知会员服务
77+阅读 · 2021年3月31日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员