终身智能体正日益普及,但依赖云端前沿 API 面临着成本高昂、延迟与隐私限制以及多用户个性化难以实现等根本性问题,使小型语言模型成为唯一现实的部署载体。本报告围绕构建终身智能体的三个核心挑战展开:(1)领域专业化:提出 A3(Agent-as-Annotators)方法,利用前沿模型自动生成并筛选带推理轨迹的交互数据,将 Qwen3.5-9B 在 WebArena 上的成功率从 31.0% 提升至 41.5%,媲美 27B 模型,且在四个分布外环境中展现出强泛化能力。(2)用户个性化:构建 AdaptArena 基准以评估智能体从隐式历史轨迹推断用户偏好的能力。即使最强的前沿模型与 Oracle 之间仍存在超过 15 个百分点的性能差距;交换历史实验证实,性能增益源于正确的用户-上下文对齐,而非通用示例。(3)记忆与通信:提出 LLM2Vec-Gen,在语言模型自身的输出空间中学习生成嵌入,在 MTEB 上以 61.9 分刷新自监督最优结果,并在推理密集型检索任务上显著优于基线,且嵌入可通过 Logit Lens 实现可解释阅读。该嵌入空间还可作为智能体间通信的共享表示,将数百个 token 压缩为少量潜在向量,提升多智能体交互效率。综上,融合专业化、个性化与高效检索的小型语言模型,有望成为终身多智能体系统中缺失的核心基元。

成为VIP会员查看完整内容
20

相关内容

伯克利最新《智能体 AI (Agentic AI)》课程
专知会员服务
49+阅读 · 3月1日
【ICCV2025教程】基础模型遇见具身智能体
专知会员服务
16+阅读 · 2025年10月23日
智能体化多模态大语言模型综述
专知会员服务
39+阅读 · 2025年10月14日
运用小型语言模型解锁战术边缘人工智能优势
专知会员服务
31+阅读 · 2025年9月7日
大规模语言模型智能体的终身学习:发展路线图
专知会员服务
46+阅读 · 2025年1月16日
大语言模型智能体
专知会员服务
99+阅读 · 2024年12月25日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
ICLR'24 大语言模型智能体最新研究进展
专知会员服务
96+阅读 · 2023年10月20日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
40+阅读 · 2020年6月22日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
从 ICLR 2019 一览小样本学习最新进展!
AI科技评论
15+阅读 · 2019年6月9日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2月21日
Arxiv
14+阅读 · 2023年8月7日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
伯克利最新《智能体 AI (Agentic AI)》课程
专知会员服务
49+阅读 · 3月1日
【ICCV2025教程】基础模型遇见具身智能体
专知会员服务
16+阅读 · 2025年10月23日
智能体化多模态大语言模型综述
专知会员服务
39+阅读 · 2025年10月14日
运用小型语言模型解锁战术边缘人工智能优势
专知会员服务
31+阅读 · 2025年9月7日
大规模语言模型智能体的终身学习:发展路线图
专知会员服务
46+阅读 · 2025年1月16日
大语言模型智能体
专知会员服务
99+阅读 · 2024年12月25日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
ICLR'24 大语言模型智能体最新研究进展
专知会员服务
96+阅读 · 2023年10月20日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
40+阅读 · 2020年6月22日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员