Adapting LLM agents to domain-specific tool calling remains notably brittle under evolving interfaces. Prompt and schema engineering is easy to deploy but often fragile under distribution shift and strict parsers, while continual parameter-efficient fine-tuning improves reliability at the cost of training, maintenance, and potential forgetting. We identify a critical Lazy Agent failure mode where tool necessity is nearly perfectly decodable from mid-layer activations, yet the model remains conservative in entering tool mode, revealing a representation-behavior gap. We propose Activation Steering Adapter (ASA), a training-free, inference-time controller that performs a single-shot mid-layer intervention and targets tool domains via a router-conditioned mixture of steering vectors with a probe-guided signed gate to amplify true intent while suppressing spurious triggers. On MTU-Bench with Qwen2.5-1.5B, ASA improves strict tool-use F1 from 0.18 to 0.50 while reducing the false positive rate from 0.15 to 0.05, using only about 20KB of portable assets and no weight updates.


翻译:适配领域特定工具调用的大语言模型智能体在面对不断演变的接口时仍显脆弱。提示与模式工程易于部署,但在分布偏移和严格解析器下常显脆弱,而持续参数高效微调虽提升了可靠性,却以训练、维护和潜在遗忘为代价。我们识别出一种关键懒惰智能体故障模式:中层激活几乎可完美解码工具必要性,但模型在进入工具模式时仍趋于保守,暴露出表示-行为差距。为此提出激活调控适配器,这是一种免训练、推理时控制器,通过单次中层干预,借助路由条件混合调控向量及探针引导符号门,在抑制虚假触发的同时放大真实意图,实现面向工具领域的精准干预。在MTU-Bench基准上结合Qwen2.5-1.5B模型,ASA将严格工具使用F1值从0.18提升至0.50,同时将假阳性率从0.15降至0.05,且仅需约20KB可移植资源,无需更新权重。

0
下载
关闭预览

相关内容

Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
29+阅读 · 5月28日
伯克利最新《智能体 AI (Agentic AI)》课程
专知会员服务
49+阅读 · 3月1日
智能体工程(Agent Engineering)
专知会员服务
39+阅读 · 2025年12月31日
【AAAI2025教程】基础模型与具身智能体的交汇,350页ppt
专知会员服务
55+阅读 · 2025年3月19日
绝对干货!NLP预训练模型:从transformer到albert
新智元
14+阅读 · 2019年11月10日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
人工智能训练师的再定义
竹间智能Emotibot
11+阅读 · 2019年5月15日
【推荐】自动特征工程开源框架
机器学习研究会
17+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
失去控制的指挥:人工智能时代的任务式指挥
专知会员服务
2+阅读 · 今天15:00
美国的新国家安全科技战略思考
专知会员服务
1+阅读 · 今天14:54
综述 | 面向大模型智能体的图结构个性化记忆
专知会员服务
4+阅读 · 9月10日
人工智能与未来空战管理
专知会员服务
6+阅读 · 9月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员