With the rise of smart personal devices, service-oriented human-agent interactions have become increasingly prevalent. This trend highlights the need for personalized dialogue assistants that can understand user-specific traits to accurately interpret requirements and tailor responses to individual preferences. However, existing approaches often overlook the complexities of long-term interactions and fail to capture users' subjective characteristics. To address these gaps, we present PAL-Bench, a new benchmark designed to evaluate the personalization capabilities of service-oriented assistants in long-term user-agent interactions. In the absence of available real-world data, we develop a multi-step LLM-based synthesis pipeline, which is further verified and refined by human annotators. This process yields PAL-Set, the first Chinese dataset comprising multi-session user logs and dialogue histories, which serves as the foundation for PAL-Bench. Furthermore, to improve personalized service-oriented interactions, we propose H$^2$Memory, a hierarchical and heterogeneous memory framework that incorporates retrieval-augmented generation to improve personalized response generation. Comprehensive experiments on both our PAL-Bench and an external dataset demonstrate the effectiveness of the proposed memory framework.


翻译:随着智能个人设备的兴起,面向服务的人机交互日益普遍。这一趋势凸显了对个性化对话助手的需求,这些助手能够理解用户特定特征,以准确解读需求并根据个人偏好定制响应。然而,现有方法往往忽视了长期交互的复杂性,未能捕捉用户的主观特征。为弥补这些不足,我们提出了PAL-Bench,这是一个旨在评估面向服务的助手在长期用户-智能体交互中个性化能力的新基准。在缺乏可用真实世界数据的情况下,我们开发了一个基于大语言模型的多步合成流程,并经由人工标注员进一步验证与优化。该流程生成了PAL-Set,这是首个包含多会话用户日志与对话历史的中文数据集,作为PAL-Bench的基础。此外,为提升面向服务的个性化交互,我们提出了H$^2$Memory,一个分层异构的记忆框架,结合检索增强生成技术以改进个性化响应生成。在我们构建的PAL-Bench及外部数据集上的综合实验验证了所提记忆框架的有效性。

0
下载
关闭预览

相关内容

【ICLR2025】DynaPrompt:动态测试时提示调优
专知会员服务
10+阅读 · 2025年2月2日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关资讯
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员