As AI agents increasingly operate in complex environments, ensuring reliable, context-aware privacy is critical for regulatory compliance. Traditional access controls are insufficient because privacy risks often arise after access is granted; agents may inadvertently compromise privacy during reasoning by messaging humans, leaking context to peers, or executing unsafe tool calls. Existing approaches typically treat privacy as a binary constraint, overlooking nuanced, computation-dependent requirements. Furthermore, Large Language Model (LLM) agents are inherently probabilistic, lacking formal guarantees for security-critical operations. To address this, we introduce AgentCrypt, a three-tiered framework for secure agent communication that adds a deterministic protection layer atop any AI platform. AgentCrypt spans the full spectrum of privacy needs: from unrestricted data exchange (Level 1), to context-aware masking (Level 2), up to fully encrypted computation using Homomorphic Encryption (Level 3). Unlike prompt-based defenses, our approach guarantees that tagged data privacy is strictly preserved even when the underlying model errs. Security is decoupled from the agent's probabilistic reasoning, ensuring sensitive data remains protected throughout the computational lifecycle. AgentCrypt enables collaborative computation on otherwise inaccessible data, overcoming barriers like data silos. We implemented and validated it using LangGraph and Google ADK, demonstrating versatility across architectures. Finally, we introduce a benchmark dataset simulating privacy-critical tasks to enable systematic evaluation and foster the development of trustworthy, regulatable machine learning systems.


翻译:随着AI智能体在复杂环境中日益广泛地运作,确保可靠、情境感知的隐私保护对于法规遵从至关重要。传统的访问控制机制存在不足,因为隐私风险通常在访问授权后产生;智能体在推理过程中可能因向人类发送消息、向同伴泄露上下文或执行不安全的工具调用而无意中损害隐私。现有方法通常将隐私视为二元约束,忽视了细致且依赖于计算的差异化需求。此外,大型语言模型(LLM)智能体本质上是概率性的,缺乏对安全关键操作的形式化保证。为此,我们提出了AgentCrypt——一个用于安全智能体通信的三层框架,可在任何AI平台之上添加确定性保护层。AgentCrypt覆盖了隐私需求的完整谱系:从无限制的数据交换(第1级),到情境感知的掩蔽处理(第2级),直至使用同态加密的完全加密计算(第3级)。与基于提示的防御机制不同,我们的方法能保证即使底层模型出错,被标记数据的隐私仍能得到严格保护。安全机制与智能体的概率推理过程解耦,确保敏感数据在整个计算生命周期中持续受保护。AgentCrypt使得对原本无法访问的数据进行协同计算成为可能,从而克服了数据孤岛等障碍。我们使用LangGraph和Google ADK实现并验证了该系统,展示了其跨架构的通用性。最后,我们引入了一个模拟隐私关键任务的基准数据集,以支持系统性评估并推动可信、可监管的机器学习系统的发展。

1
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
机密计算保障人工智能系统安全研究报告
专知会员服务
19+阅读 · 2025年1月20日
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
52+阅读 · 2024年6月7日
AI Agent:基于大模型的自主智能体
专知会员服务
248+阅读 · 2023年9月9日
专知会员服务
63+阅读 · 2021年7月5日
专知会员服务
46+阅读 · 2021年6月25日
专知会员服务
40+阅读 · 2020年12月20日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关VIP内容
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
机密计算保障人工智能系统安全研究报告
专知会员服务
19+阅读 · 2025年1月20日
AI智能体面临的威胁:关键安全挑战与未来路径综述
专知会员服务
52+阅读 · 2024年6月7日
AI Agent:基于大模型的自主智能体
专知会员服务
248+阅读 · 2023年9月9日
专知会员服务
63+阅读 · 2021年7月5日
专知会员服务
46+阅读 · 2021年6月25日
专知会员服务
40+阅读 · 2020年12月20日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员