Intelligent devices have become deeply integrated into everyday life, generating vast amounts of user interactions that form valuable personal knowledge. Efficient organization of this knowledge in user memory is essential for enabling personalized applications. However, current research on memory writing, management, and reading using large language models (LLMs) faces challenges in filtering irrelevant information and in dealing with rising computational costs. Inspired by the concept of selective attention in the human brain, we introduce a memory discrimination task. To address large-scale interactions and diverse memory standards in this task, we propose a Scene-Aware Memory Discrimination method (SAMD), which comprises two key components: the Gating Unit Module (GUM) and the Cluster Prompting Module (CPM). GUM enhances processing efficiency by filtering out non-memorable interactions and focusing on the salient content most relevant to application demands. CPM establishes adaptive memory standards, guiding LLMs to discern what information should be remembered or discarded. It also analyzes the relationship between user intents and memory contexts to build effective clustering prompts. Comprehensive direct and indirect evaluations demonstrate the effectiveness and generalization of our approach. We independently assess the performance of memory discrimination, showing that SAMD successfully recalls the majority of memorable data and remains robust in dynamic scenarios. Furthermore, when integrated into personalized applications, SAMD significantly enhances both the efficiency and quality of memory construction, leading to better organization of personal knowledge.


翻译:智能设备已深度融入日常生活,产生大量用户交互,形成宝贵的个人知识。在用户记忆中高效组织这些知识对于实现个性化应用至关重要。然而,当前基于大语言模型(LLMs)的记忆写入、管理和读取研究面临两大挑战:无关信息过滤困难与计算成本不断攀升。受人类大脑选择性注意机制的启发,我们提出记忆判别任务。针对该任务中大规模交互和多样化记忆标准的问题,我们提出场景感知记忆判别方法(SAMD),该方法包含两个核心组件:门控单元模块(GUM)和聚类提示模块(CPM)。GUM通过过滤非记忆性交互并聚焦于与应用需求最相关的显著内容,显著提升处理效率。CPM建立自适应记忆标准,引导LLMs判别信息应被记忆或丢弃,同时分析用户意图与记忆上下文的关系以构建有效的聚类提示。全面的直接与间接评估证明了我们方法的有效性和泛化能力。我们独立评估了记忆判别性能,表明SAMD能成功召回大部分可记忆数据,并在动态场景中保持鲁棒性。此外,当集成到个性化应用中时,SAMD显著提升了记忆构建的效率和质量,从而实现更优的个人知识组织。

0
下载
关闭预览

相关内容

大语言模型机器遗忘综述
专知会员服务
18+阅读 · 2025年11月2日
《大型语言模型情感认知》最新进展
专知会员服务
43+阅读 · 2024年10月3日
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员