Small language models (SLMs) enable scalable multi-agent tool systems where multiple SLMs handle subtasks orchestrated by a powerful coordinator. However, they struggle with tool-use tasks, particularly in selecting appropriate tools and identifying correct parameters. A common failure mode is schema misalignment: models hallucinate plausible but nonexistent tool names that reflect naming conventions internalized during pretraining but absent from the provided tool schema. Rather than forcing models to adapt to arbitrary schemas, we propose adapting schemas to align with models' pretrained knowledge. We introduce PA-Tool (Pretraining-Aligned Tool Schema Generation), a training-free method that leverages peakedness, a signal from contamination detection indicating pretraining familiarity, to rename tool components. By generating multiple candidates and selecting those with the highest peakedness across samples, PA-Tool identifies pretraining-aligned naming patterns. Experiments on MetaTool and RoTBench show improvements of up to 17%, with schema misalignment errors reduced by 80%. PA-Tool enables small models to approach state-of-the-art performance while maintaining computational efficiency in adapting to new tools without retraining. Our work demonstrates that schema-level interventions can unlock the tool-use potential of resource-efficient models by adapting schemas to models rather than models to schemas.


翻译:小型语言模型(SLMs)能够实现可扩展的多智能体工具系统,其中多个SLM处理由强大协调器编排的子任务。然而,它们在工具使用任务上存在困难,特别是在选择合适的工具和识别正确参数方面。一种常见的失败模式是模式失配:模型会幻觉出看似合理但实际不存在的工具名称,这些名称反映了预训练期间内化的命名惯例,但在提供的工具模式中并不存在。我们提出,与其强迫模型适应任意模式,不如调整模式以对齐模型的预训练知识。我们引入PA-Tool(预训练对齐工具模式生成),这是一种无需训练的方法,它利用峰值度——一种来自污染检测的信号,指示预训练的熟悉程度——来重命名工具组件。通过生成多个候选名称并选择在样本中具有最高峰值度的名称,PA-Tool识别出与预训练对齐的命名模式。在MetaTool和RoTBench上的实验显示性能提升高达17%,模式失配错误减少了80%。PA-Tool使小型模型能够接近最先进的性能,同时在适应新工具时保持计算效率,无需重新训练。我们的工作表明,通过让模式适应模型而非模型适应模式,模式层面的干预能够释放资源高效模型的工具使用潜力。

0
下载
关闭预览

相关内容

多模态大语言模型下游调优中“保持自我”的重要性
专知会员服务
17+阅读 · 2025年12月15日
在无标注条件下适配视觉—语言模型:全面综述
专知会员服务
13+阅读 · 2025年8月9日
大语言模型与小语言模型协同机制综述
专知会员服务
38+阅读 · 2025年5月15日
小型语言模型综述
专知会员服务
54+阅读 · 2024年10月29日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
模型不work怎么办?141页PPT告诉你怎么改模型
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员