Tool-connected agents need execution-time invariants that hold even when a model follows an adversarial instruction. We formulate eight execution-layer invariants (I1-I8) covering structured authority, canonical resource resolution, principal and delegation binding, handle lifecycle, explicit source-to-target transfer, request-correlated denial evidence, and single-use approval state. To test whether these protections require a centralized runtime or follow from the invariants themselves, we compare HCP, an in-memory runtime with managed handles and tasks, against an independent gateway/server ACL (B3) enforcing the same I1-I8 contract over identical grants and labels. Both block 18 modeled violations and complete 25 workflows, while 16 source-code ablations pinpoint the checks responsible. Outside our scripted corpus, we test three boundaries. First, on 24 held-out AgentDojo tasks with live models, DeepSeek reaches attacker goals in 4 direct sessions while both controllers deny every attacker call; however, strict reference-derived grants also deny 40 non-attacker calls, and first-divergence replay under an approve-all control reaches 4 new attacker goals. Second, across 132 conditions on unmodified ChainCaps and Playwright MCP servers, per-call grants block ungranted writes but cannot stop a secret passed as an ordinary argument to an authorized sink; session source budgets block that copy but refuse unrelated actions; and explicit handle pipes or sealed reads block handle-mediated exfiltration while preserving unrelated workflows. Third, on a matched MCP backend, HCP adds 0.13 ms per workflow outside MCP calls while retaining 7.7 MB of state over one thousand workflows versus 0.7 MB for B3. Identical decisions across HCP and B3 show that enforcing explicit I1-I8 invariants at controlled entrances secures tool execution across centralized and gateway designs.


翻译:暂无翻译

0
下载
关闭预览

相关内容

综述 | 终端智能体:命令行环境中的 AI Agents
专知会员服务
12+阅读 · 8月24日
AI行业专题报告:工具生态逐步完善,通用Agent曙光已现
专知会员服务
33+阅读 · 2025年3月27日
人工智能专题报告:Operator和Manus打开AI Agent时代
专知会员服务
65+阅读 · 2025年3月12日
Agent+Copilot:大模型在智能运维领域的应用
专知会员服务
60+阅读 · 2024年8月11日
AI Agent,大模型时代重要落地方向, 42页ppt
专知会员服务
292+阅读 · 2023年10月12日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
用PyTorch做物体检测和追踪
AI研习社
12+阅读 · 2019年1月6日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
论文笔记之attention mechanism专题1:SA-Net(CVPR 2018)
统计学习与视觉计算组
16+阅读 · 2018年4月5日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Arxiv
0+阅读 · 11月2日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
11+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
4+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关资讯
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
用PyTorch做物体检测和追踪
AI研习社
12+阅读 · 2019年1月6日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
论文笔记之attention mechanism专题1:SA-Net(CVPR 2018)
统计学习与视觉计算组
16+阅读 · 2018年4月5日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员