现代大语言模型智能体能够从可访问的文档中检索信息,然后将从中拼凑出的敏感结论予以披露。这种马赛克效应对处理机密数据的智能体构成了关键风险。通过30个合成网络安全、医疗和军事案例对其实现进行了量化,在受控模拟中从三个大语言模型智能体获得了10800个最终答案,并在两个开源框架中从实时智能体获得了1440个答案。即使在旨在可从单份文档回答的良性查询下,性能最佳的测试模型GPT-5.6-Sol在模拟中有7.08%的答案披露了禁止合成的结论(95%置信区间:3.75–10.67%),而在实时框架中的披露率更高。添加可见的分类标题和明确的聚合规则可大幅降低汇总披露率,然而,尽管有这些保障措施,在所有意图下,不安全披露仍出现在32.37%的模拟答案中(95%置信区间:28.33–36.19%)。此外,拒绝率的增加并不能保证机密性,因为显著的拒绝本身就会揭示被禁止的结论。这些结果指向一个令人不安的结论:在评估环境中,通过马赛克式事件泄露敏感数据是一种以不可忽略比率被观察到的机密性失效模式。这促使我们在混合密级用户的敏感数据环境中,对智能体可以推断和披露的内容实施更强有力的控制。

成为VIP会员查看完整内容
6

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
LLM/智能体作为数据分析师:综述
专知会员服务
39+阅读 · 2025年9月30日
LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
30+阅读 · 2025年6月15日
可信赖LLM智能体的研究综述:威胁与应对措施
专知会员服务
37+阅读 · 2025年3月17日
谷歌《智能体Agent》白皮书,42页pdf
专知会员服务
110+阅读 · 2025年1月5日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
24+阅读 · 2024年2月23日
Arxiv
14+阅读 · 2023年8月7日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
13+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
5+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员