Small language models (SLMs) enable scalable multi-agent tool systems where multiple SLMs handle subtasks orchestrated by a powerful coordinator. However, they struggle with tool-use tasks, particularly in selecting appropriate tools and identifying correct parameters. A common failure mode is schema misalignment: models hallucinate plausible but nonexistent tool names that reflect naming conventions internalized during pretraining but absent from the provided tool schema. Rather than forcing models to adapt to arbitrary schemas, we propose adapting schemas to align with models' pretrained knowledge. We introduce PA-Tool (Pretraining-Aligned Tool Schema Generation), a training-free method that leverages peakedness, a signal from contamination detection indicating pretraining familiarity, to rename tool components. By generating multiple candidates and selecting those with the highest peakedness across samples, PA-Tool identifies pretraining-aligned naming patterns. Experiments on MetaTool and RoTBench show improvements of up to 17%, with schema misalignment errors reduced by 80%. PA-Tool enables small models to approach state-of-the-art performance while maintaining computational efficiency in adapting to new tools without retraining. Our work demonstrates that schema-level interventions can unlock the tool-use potential of resource-efficient models by adapting schemas to models rather than models to schemas.


翻译:小型语言模型(SLMs)能够实现可扩展的多智能体工具系统,其中多个SLM处理由强大协调器编排的子任务。然而,它们在工具使用任务上存在困难,特别是在选择合适的工具和识别正确参数方面。一种常见的失败模式是模式失配:模型会幻觉出看似合理但实际不存在的工具名称,这些名称反映了预训练期间内化的命名惯例,但在提供的工具模式中并不存在。我们提出,与其强迫模型适应任意模式,不如调整模式以对齐模型的预训练知识。我们引入PA-Tool(预训练对齐工具模式生成),这是一种无需训练的方法,它利用峰值度——一种来自污染检测的信号,指示预训练的熟悉程度——来重命名工具组件。通过生成多个候选名称并选择在样本中具有最高峰值度的名称,PA-Tool识别出与预训练对齐的命名模式。在MetaTool和RoTBench上的实验显示性能提升高达17%,模式失配错误减少了80%。PA-Tool使小型模型能够接近最先进的性能,同时在适应新工具时保持计算效率,无需重新训练。我们的工作表明,通过让模式适应模型而非模型适应模式,模式层面的干预能够释放资源高效模型的工具使用潜力。

0
下载
关闭预览

相关内容

NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员