Long-horizon multimodal agents depend on external memory; however, similarity-based retrieval often surfaces stale, low-credibility, or conflicting items, which can trigger overconfident errors. We propose Multimodal Memory Agent (MMA), which assigns each retrieved memory item a dynamic reliability score by combining source credibility, temporal decay, and conflict-aware network consensus, and uses this signal to reweight evidence and abstain when support is insufficient. We also introduce MMA-Bench, a programmatically generated benchmark for belief dynamics with controlled speaker reliability and structured text-vision contradictions. Using this framework, we uncover the "Visual Placebo Effect", revealing how RAG-based agents inherit latent visual biases from foundation models. On FEVER, MMA matches baseline accuracy while reducing variance by 35.2% and improving selective utility; on LoCoMo, a safety-oriented configuration improves actionable accuracy and reduces wrong answers; on MMA-Bench, MMA reaches 41.18% Type-B accuracy in Vision mode, while the baseline collapses to 0.0% under the same protocol. Code: https://github.com/AIGeeksGroup/MMA.


翻译:长视野多模态智能体依赖外部记忆系统,但基于相似性的检索常返回陈旧、低可信度或相互冲突的记忆条目,进而引发过度自信的错误。我们提出多模态记忆代理(MMA),该方法通过综合来源可信度、时间衰减因子及冲突感知的网络共识,为每个检索到的记忆条目赋予动态可靠性评分,并利用该信号对证据进行重加权,在支持不足时主动弃权。我们还构建了MMA-Bench——一个通过程序化生成的基准测试集,用于评估信念动态,其特点在于可控的说话者可靠性与结构化的文本-视觉矛盾。借助该框架,我们揭示了"视觉安慰剂效应",阐明了基于检索增强生成(RAG)的智能体如何继承基础模型中的隐性视觉偏差。在FEVER数据集上,MMA在保持基线准确率的同时,将方差降低35.2%并提升选择性效用;在安全导向的LoCoMo配置中,可操作准确率得到改善且错误答案减少;在MMA-Bench的视觉模式下,MMA达到41.18%的B类准确率,而相同协议下基线模型性能崩溃至0.0%。代码地址:https://github.com/AIGeeksGroup/MMA。

0
下载
关闭预览

相关内容

MMA:多模态记忆智能体
专知会员服务
9+阅读 · 2月19日
TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
MM-REACT:提示ChatGPT进行多模态推理和行动
专知会员服务
35+阅读 · 2023年3月26日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
185+阅读 · 2022年4月12日
MMDetection v2.0 训练自己的数据集
CVer
30+阅读 · 2020年8月9日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月21日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员