Distributed multi-agent systems (DMAS) based on large language models (LLMs) enable collaborative intelligence while preserving data privacy. However, systematic evaluations of long-term memory under network constraints are limited. This study introduces a flexible testbed to compare mem0, a vector-based memory framework, and Graphiti, a graph-based knowledge graph, using the LoCoMo long-context benchmark. Experiments were conducted under unconstrained and constrained network conditions, measuring computational, financial, and accuracy metrics. Results indicate mem0 significantly outperforms Graphiti in efficiency, featuring faster loading times, lower resource consumption, and minimal network overhead. Crucially, accuracy differences were not statistically significant. Applying a statistical Pareto efficiency framework, mem0 is identified as the optimal choice, balancing cost and accuracy in DMAS.


翻译:基于大语言模型(LLMs)的分布式多智能体系统(DMAS)能够在保护数据隐私的前提下实现协同智能。然而,现有研究对网络约束下长期记忆机制的系统性评估仍显不足。本研究引入了一个灵活测试平台,利用LoCoMo长上下文基准,对基于向量的记忆框架mem0与基于图结构的知识图谱Graphiti进行对比分析。实验在无约束与受约束网络条件下展开,测量了计算成本、经济成本及精度指标。结果表明,mem0在效率方面显著优于Graphiti,其加载速度更快、资源消耗更低且网络开销极小。关键发现是,两者的精度差异未达到统计学显著性。通过统计帕累托效率框架分析,mem0被确认为平衡DMAS成本与精度的最优选择。

0
下载
关闭预览

相关内容

《多智能体大语言模型系统的可靠决策研究》
专知会员服务
43+阅读 · 2月2日
大语言模型在多模态推荐系统中的应用综述
专知会员服务
17+阅读 · 2025年5月17日
基于大语言模型的智能体优化研究综述
专知会员服务
66+阅读 · 2025年3月25日
多智能体协作机制:大语言模型综述
专知会员服务
73+阅读 · 2025年3月4日
基于大型语言模型的多智能体:进展与挑战综述
专知会员服务
141+阅读 · 2024年2月6日
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
18+阅读 · 2020年9月9日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
39+阅读 · 2020年3月15日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
10+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
10+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
17+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
9+阅读 · 10月20日
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员