We present MemoryDiorama, a prototype system that introduces augmented memory cues, a concept that extends captured personal media with AI-generated contextual information to enhance autobiographical memory recall. MemoryDiorama transforms everyday photos into dynamic 3D dioramas in mixed reality by integrating LLM-based scene analysis with 3D object generation, animation, and spatial composition. The system extracts geographic information, object attributes, lighting conditions, and atmospheric elements from the photos. It then animates these elements with generative components such as object animations, human motion, geographical effects, and particle effects to provide richer cues for memory recall. We evaluated MemoryDiorama in a within-subject user study with 18 participants, comparing three conditions: Photo-Only, Static Diorama, and MemoryDiorama. Compared with both Photo-Only and Static Diorama, MemoryDiorama elicited more internal and in-cue details during recall. It also increased perceptual details and visual vividness ratings, suggesting richer recollective experience.


翻译:我们提出了MemoryDiorama,一个原型系统,该系统引入了增强记忆线索的概念——通过AI生成的上下文信息扩展个人拍摄的媒体内容,以增强自传体记忆回忆。MemoryDiorama结合基于大语言模型的场景分析与3D物体生成、动画及空间构图技术,将日常照片转化为混合现实中的动态3D立体模型。系统从照片中提取地理信息、物体属性、光照条件及大气元素,并通过生成式组件(如物体动画、人体运动、地理效果及粒子效果)为这些元素赋予动态表现,从而为记忆回忆提供更丰富的线索。我们开展了一项包含18名参与者的被试内用户研究,在三种条件(仅照片、静态立体模型、MemoryDiorama)下对MemoryDiorama进行了评估。与仅照片和静态立体模型相比,MemoryDiorama在回忆过程中能激发更多内部细节和线索细节,同时提升了感知细节与视觉生动性评分,表明其带来了更丰富的回忆体验。

0
下载
关闭预览

相关内容

MMA:多模态记忆智能体
专知会员服务
11+阅读 · 2月19日
AI智能体时代中的记忆:形式、功能与动态综述
专知会员服务
37+阅读 · 2025年12月16日
【ICML2025教程】联想记忆的现代方法
专知会员服务
15+阅读 · 2025年7月13日
【CIKM2021】基于等效共享记忆研究的神经会话生成模型
专知会员服务
10+阅读 · 2021年11月19日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
110+阅读 · 2020年2月22日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
106+阅读 · 2018年11月15日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
实践 | 如何使用深度学习为照片自动生成文本描述?
七月在线实验室
10+阅读 · 2018年5月21日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
1+阅读 · 今天14:36
《战争中的大语言模型监管》
专知会员服务
2+阅读 · 今天14:26
边缘计算的军事应用
专知会员服务
8+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员