Transitioning Multimodal Large Language Models (MLLMs) from offline to online streaming video understanding is essential for continuous perception. However, existing methods lack flexible adaptivity, leading to irreversible detail loss and context fragmentation. To resolve this, we propose FreshMem, a Frequency-Space Hybrid Memory network inspired by the brain's logarithmic perception and memory consolidation. FreshMem reconciles short-term fidelity with long-term coherence through two synergistic modules: Multi-scale Frequency Memory (MFM), which projects overflowing frames into representative frequency coefficients, complemented by residual details to reconstruct a global historical "gist"; and Space Thumbnail Memory (STM), which discretizes the continuous stream into episodic clusters by employing an adaptive compression strategy to distill them into high-density space thumbnails. Extensive experiments show that FreshMem significantly boosts the Qwen2-VL baseline, yielding gains of 5.20%, 4.52%, and 2.34% on StreamingBench, OV-Bench, and OVO-Bench, respectively. As a training-free solution, FreshMem outperforms several fully fine-tuned methods, offering a highly efficient paradigm for long-horizon streaming video understanding.


翻译:将多模态大语言模型(MLLMs)从离线模式过渡到在线流式视频理解,对于实现连续感知至关重要。然而,现有方法缺乏灵活的适应性,导致不可逆的细节丢失和上下文碎片化。为解决此问题,我们提出FreshMem,一种受大脑对数感知与记忆巩固机制启发的频空混合记忆网络。FreshMem通过两个协同模块,调和了短期保真度与长期连贯性:多尺度频率记忆(MFM)将溢出的视频帧投影为具有代表性的频率系数,并辅以残差细节来重构全局历史“概要”;空间缩略图记忆(STM)则通过自适应压缩策略将连续视频流离散化为情景聚类,并将其提炼为高密度的空间缩略图。大量实验表明,FreshMem显著提升了Qwen2-VL基线模型,在StreamingBench、OV-Bench和OVO-Bench上分别取得了5.20%、4.52%和2.34%的性能增益。作为一种免训练方案,FreshMem的性能优于多种完全微调的方法,为长时程流式视频理解提供了一种高效的范式。

0
下载
关闭预览

相关内容

元学习(Meta Learning)最全论文、视频、书籍资源整理
深度学习与NLP
22+阅读 · 2019年6月20日
论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
106+阅读 · 2018年11月15日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员