Coding agents now run autonomously with shell, file, and network privileges. When a user issues a benign request, the agent sometimes does more than asked: it deletes unrelated files, wipes a stale credentials backup, or rewrites configuration the user never mentioned. We call these scope expansions overeager actions, an authorization problem distinct from capability failures, prompt injection, or sandbox escapes. We present OverEager-Gen, a benchmark dedicated to overeager behavior on benign tasks. Building it surfaces a measurement-validity issue: if a benchmark spells out the authorized scope inside the prompt, the agent stops inferring boundaries and starts pattern-matching declaration text. On Claude Code, stripping the consent declaration alone raises the overeager rate from 0.0% to 17.1% on paired scenarios (McNemar exact p = 2.4 x 10^-4). OverEager-Gen therefore certifies each scenario's discriminative power before admission via a behavioral-gradient validator, audits internal tool calls through a dual-channel stack (PATH-injected shim plus per-agent event streams), and ships byte-identical consent_kept and consent_stripped variants. OverEager-Bench contains 500 validated scenarios and ~7,500 runs across four agent products (Claude Code, OpenHands, Codex CLI, Gemini CLI) and six base models; a 50-sample re-annotation gives Cohen's kappa = 0.73 and rule-judge recall = 1.00. Stripping consent multiplies the overeager rate on every shared base model (Delta in [11.9, 17.2] pp). The framework axis dominates effect size: a permissive cluster (Claude Code, Codex CLI, Gemini CLI) runs at 5.4-27.7% while the ask-to-continue framework (OpenHands) sits at 0.2-4.5% (Fisher p <= 10^-5). Within-framework base-model variance reaches 15.9 pp, indicating that model-layer alignment does not fully propagate through permissive permission gating.


翻译:编码代理现在可自主运行,拥有shell、文件和网络权限。当用户提出良性请求时,代理有时会执行超出要求的操作:删除无关文件、清除过期的凭据备份、或重写用户从未提及的配置。我们将这些范围扩展行为称为"过度热心动作",这是一个与能力失效、提示注入或沙箱逃逸不同的授权问题。我们提出OverEager-Gen,一个专注于良性任务中过度热心行为的基准测试。构建该基准测试揭示了一个测量有效性问题:如果基准测试在提示中明确说明授权范围,代理将停止推断边界,转而开始匹配声明文本。在Claude Code上,仅移除同意声明就会导致配对场景中的过度热心率从0.0%提升至17.1%(McNemar精确检验p = 2.4 x 10^-4)。因此,OverEager-Gen通过行为梯度验证器在准入前认证每个场景的区分能力,通过双通道堆栈(PATH注入shim加上每个代理的事件流)审计内部工具调用,并提供字节级相同的consent_kept和consent_stripped变体。OverEager-Bench包含500个经过验证的场景,涵盖四种代理产品(Claude Code、OpenHands、Codex CLI、Gemini CLI)和六个基础模型的约7,500次运行;50个样本的重新标注给出Cohen's kappa = 0.73和规则判断召回率=1.00。移除同意声明会使每个共享基础模型上的过度热心率成倍增加(Delta在[11.9, 17.2]个百分点之间)。框架轴主导效应大小:一个宽松簇(Claude Code、Codex CLI、Gemini CLI)运行在5.4-27.7%之间,而要求继续运行的框架(OpenHands)则处于0.2-4.5%(Fisher检验p <= 10^-5)。框架内的基础模型方差达到15.9个百分点,表明模型层对齐并未完全通过宽松的权限门控传播。

0
下载
关闭预览

相关内容

代码(Code)是专知网的一个重要知识资料文档板块,旨在整理收录论文源代码、复现代码,经典工程代码等,便于用户查阅下载使用。
中国AI Agent行业研究报告(二)
专知会员服务
48+阅读 · 2025年3月13日
大型语言模型代理的安全与隐私综述
专知会员服务
30+阅读 · 2024年8月5日
深度学习赋能的恶意代码攻防研究进展
专知会员服务
31+阅读 · 2021年4月11日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
TheFatRat 一款简易后门工具
黑白之道
36+阅读 · 2019年10月23日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
7+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
7+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
8+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关资讯
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
TheFatRat 一款简易后门工具
黑白之道
36+阅读 · 2019年10月23日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员