To enable personalized and context-aware interactions, conversational AI systems have introduced a new mechanism: Memory. Memory creates what we refer to as the Algorithmic Self-portrait - a new form of personalization derived from users' self-disclosed information divulged within private conversations. While memory enables more coherent exchanges, the underlying processes of memory creation remain opaque, raising critical questions about data sensitivity, user agency, and the fidelity of the resulting portrait. To bridge this research gap, we analyze 2,050 memory entries from 80 real-world ChatGPT users. Our analyses reveal three key findings: (1) A striking 96% of memories in our dataset are created unilaterally by the conversational system, potentially shifting agency away from the user; (2) Memories, in our dataset, contain a rich mix of GDPR-defined personal data (in 28% memories) along with psychological insights about participants (in 52% memories); and (3)~A significant majority of the memories (84%) are directly grounded in user context, indicating faithful representation of the conversations. Finally, we introduce a framework-Attribution Shield-that anticipates these inferences, alerts about potentially sensitive memory inferences, and suggests query reformulations to protect personal information without sacrificing utility.


翻译:为实现个性化与情境感知的交互,对话式人工智能系统引入了一种新机制:记忆(Memory)。记忆构建了我们称之为"算法自画像"的新形态——一种通过用户在私密对话中主动披露的信息所形成的个性化表征。尽管记忆功能能够实现更连贯的对话交流,但其生成过程仍具不透明性,由此引发关于数据敏感性、用户自主权以及生成画像保真度的关键问题。为填补这一研究空白,我们分析了来自80位真实ChatGPT用户的2,050条记忆条目。分析结果揭示三项核心发现:(1)数据集中高达96%的记忆由对话系统单方面创建,可能导致用户自主权的转移;(2)记忆内容包含丰富的GDPR界定个人数据(占28%的记忆条目)及用户心理特征信息(占52%的记忆条目);(3)绝大多数记忆(84%)直接植根于用户对话情境,表明其对对话内容具有较高表征保真度。最后,我们提出"属性防护盾"框架——该框架能够预判记忆推断行为,对潜在敏感的记忆推断发出预警,并提供在保持系统实用性的同时保护个人信息的查询重构建议。

0
下载
关闭预览

相关内容

AI智能体时代中的记忆:形式、功能与动态综述
专知会员服务
35+阅读 · 2025年12月16日
【ChatGPT系列报告】AI大语言模型的原理、演进及算力测算
专知会员服务
151+阅读 · 2023年4月26日
【ChatGPT系列报告】ChatGPT引领AI突破,工业AI前景可期
专知会员服务
96+阅读 · 2023年4月7日
揭秘ChatGPT情感对话能力
专知
16+阅读 · 2023年4月9日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月13日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员