Traditional workflow-based agents exhibit limited intelligence when addressing real-world problems requiring tool invocation. Tool-integrated reasoning (TIR) agents capable of autonomous reasoning and tool invocation are rapidly emerging as a powerful approach for complex decision-making tasks involving multi-step interactions with external environments. In this work, we introduce MindWatcher, a TIR agent integrating interleaved thinking and multimodal chain-of-thought (CoT) reasoning. MindWatcher can autonomously decide whether and how to invoke diverse tools and coordinate their use, without relying on human prompts or workflows. The interleaved thinking paradigm enables the model to switch between thinking and tool calling at any intermediate stage, while its multimodal CoT capability allows manipulation of images during reasoning to yield more precise search results. We implement automated data auditing and evaluation pipelines, complemented by manually curated high-quality datasets for training, and we construct a benchmark, called MindWatcher-Evaluate Bench (MWE-Bench), to evaluate its performance. MindWatcher is equipped with a comprehensive suite of auxiliary reasoning tools, enabling it to address broad-domain multimodal problems. A large-scale, high-quality local image retrieval database, covering eight categories including cars, animals, and plants, endows model with robust object recognition despite its small size. Finally, we design a more efficient training infrastructure for MindWatcher, enhancing training speed and hardware utilization. Experiments not only demonstrate that MindWatcher matches or exceeds the performance of larger or more recent models through superior tool invocation, but also uncover critical insights for agent training, such as the genetic inheritance phenomenon in agentic RL.


翻译:传统基于工作流的智能体在解决需要调用工具的现实问题时表现出有限的智能。能够自主推理和调用工具的工具集成推理智能体正迅速崛起,成为处理涉及与外部环境多步交互的复杂决策任务的有力方法。本文介绍MindWatcher,一种集成交错式思维与多模态思维链推理的工具集成推理智能体。MindWatcher能够自主决定是否及如何调用多样化工具并协调其使用,无需依赖人工提示或预设工作流。其交错式思维范式使模型能够在任何中间阶段在思考与工具调用之间切换,而其多模态思维链能力允许在推理过程中操作图像以获得更精确的搜索结果。我们实现了自动化数据审计与评估流程,辅以人工标注的高质量训练数据集,并构建了名为MindWatcher评估基准的评测基准以评估其性能。MindWatcher配备了一套全面的辅助推理工具,使其能够处理广域多模态问题。一个涵盖汽车、动物、植物等八大类别的大规模高质量本地图像检索数据库,使模型尽管规模较小仍具备强大的物体识别能力。最后,我们为MindWatcher设计了更高效的训练基础设施,提升了训练速度与硬件利用率。实验不仅证明MindWatcher通过卓越的工具调用能力达到或超越了更大或更新模型的表现,还揭示了智能体训练的关键洞见,例如智能体强化学习中的遗传继承现象。

0
下载
关闭预览

相关内容

DeepSeek模型综述:V1 V2 V3 R1-Zero
专知会员服务
116+阅读 · 2025年2月11日
深度学习目标检测模型全面综述:Faster R-CNN、R-FCN和SSD
深度学习世界
10+阅读 · 2017年9月18日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员