Smart assistants increasingly act proactively, yet mistimed or intrusive behavior often causes users to lose trust and disable these features. Learning user preferences for proactive assistance is difficult because real-world studies are costly, limited in scale, and rarely capture how preferences change across multiple interaction sessions. Large language model based generative agents offer a way to simulate realistic interactions, but existing synthetic datasets remain limited in temporal depth, diverse personas, and multi-dimensional preferences. They also provide little support for transferring population-level insights to individual users under on-device constraints. We present a population-to-individual learning framework for preference-aligned proactive assistants that operates under on-device and privacy constraints. Our approach uses large-scale interaction simulation with 1,000 diverse personas to learn shared structure in how users express preferences across recurring dimensions such as timing, autonomy, and communication style, providing a strong cold start without relying on real user logs. The assistant then adapts to individual users on device through lightweight activation-based steering driven by simple interaction feedback, without model retraining or cloud-side updates. We evaluate the framework using controlled simulations with 1,000 simulated personas and a human-subject study with 30 participants. Results show improved timing decisions and perceived interaction quality over untuned and direct-response baselines, while on-device activation steering achieves performance comparable to reinforcement learning from human feedback. Participants also report higher satisfaction, trust, and comfort as the assistant adapts over multiple sessions of interactions.


翻译:智能助手日益展现出主动行为,但时机不当或侵扰性行为常导致用户失去信任并禁用这些功能。学习用户对主动协助的偏好具有挑战性,因为现实世界研究成本高昂、规模有限,且难以捕捉跨多个交互会话的偏好变化。基于大语言模型的生成智能体为模拟真实交互提供了途径,但现有合成数据集在时间深度、人格多样性和多维度偏好方面仍存在局限。这些方法也缺乏在设备端约束下将群体层面洞察迁移至个体用户的有效支持。本文提出一种面向设备端与隐私约束的群体到个体学习框架,用于构建偏好对齐的主动式智能助手。该方法通过模拟与1000种多样化人格的大规模交互,学习用户在时序性、自主性、沟通风格等重复维度上表达偏好的共享结构,在不依赖真实用户日志的情况下提供优质的冷启动能力。随后,助手通过基于轻量级激活导向的调控机制(由简单交互反馈驱动)在设备端适配个体用户,无需模型重训练或云端更新。我们通过包含1000个模拟人格的受控仿真实验和30名参与者的人体实验对该框架进行评估。结果显示:相较于未调优基线和直接响应基线,本方法在时机决策和感知交互质量方面均有提升;设备端激活调控能达到与基于人类反馈的强化学习相当的性能。随着助手在多次交互会话中持续适配,参与者亦报告了更高的满意度、信任度和舒适度。

0
下载
关闭预览

相关内容

可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
33+阅读 · 2025年1月20日
大规模语言模型的人类偏好学习综述
专知会员服务
42+阅读 · 2024年6月19日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员