Modern knowledge workplaces increasingly strain human episodic memory as individuals navigate fragmented attention, overlapping meetings, and multimodal information streams. Existing workplace tools provide partial support through note-taking or analytics but rarely integrate cognitive, physiological, and attentional context into retrievable memory representations. This paper presents the Cognitive Prosthetic Multimodal System (CPMS) --an AI-enabled proof-of-concept designed to support episodic recall in knowledge work through structured episodic capture and natural language retrieval. CPMS synchronizes speech transcripts, physiological signals, and gaze behavior into temporally aligned, JSON-based episodic records processed locally for privacy. Beyond data logging, the system includes a web-based retrieval interface that allows users to query past workplace experiences using natural language, referencing semantic content, time, attentional focus, or physiological state. We present CPMS as a functional proof-of-concept demonstrating the technical feasibility of transforming heterogeneous sensor data into queryable episodic memories. The system is designed to be modular, supporting operation with partial sensor configurations, and incorporates privacy safeguards for workplace deployment. This work contributes an end-to-end, privacy-aware architecture for AI-enabled memory augmentation in workplace settings.


翻译:现代知识工作场所日益加重人类情景记忆的负担,个体需应对碎片化注意力、重叠会议和多模态信息流。现有工作场所工具通过笔记记录或分析提供部分支持,但鲜少将认知、生理及注意力情境整合为可检索的记忆表征。本文提出认知假体多模态系统——一种人工智能驱动的概念验证系统,旨在通过结构化情景捕捉与自然语言检索来支持知识工作中的情景回忆。CPMS将语音转录、生理信号与注视行为同步为时间对齐的、基于JSON的情景记录,并在本地处理以保障隐私。除数据记录外,该系统还包含基于网络的检索界面,允许用户使用自然语言查询过往工作经历,可依据语义内容、时间、注意力焦点或生理状态进行检索。我们提出CPMS作为功能性概念验证,展示了将异构传感器数据转化为可查询情景记忆的技术可行性。该系统采用模块化设计,支持部分传感器配置运行,并包含适用于工作场所部署的隐私保护机制。本研究贡献了一种端到端、具备隐私保护意识的人工智能记忆增强架构,适用于工作场所环境。

0
下载
关闭预览

相关内容

基于大语言模型智能体的社会认知模拟
专知会员服务
17+阅读 · 2月22日
AI 智能体系统:体系架构、应用场景及评估范式
AI智能体时代中的记忆:形式、功能与动态综述
专知会员服务
36+阅读 · 2025年12月16日
基于大模型的态势认知智能体
专知会员服务
195+阅读 · 2024年4月7日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
数据驱动的态势认知技术及发展思考
专知
18+阅读 · 2022年7月12日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员