In emerging multi-robot societies, heterogeneous agents must continually extract and integrate local knowledge from one another through communication, even when their internal models are completely opaque. Existing approaches to continual or collaborative learning for visual place recognition (VPR) largely assume white-box access to model parameters or shared training datasets, which is unrealistic when robots encounter unknown peers in the wild. This paper introduces \emph{Continual Communicative Learning (CCL)}, a data-free multi-robot framework in which a traveler robot (student) continually improves its VPR capability by communicating with black-box teacher models via a constrained query--response channel. We repurpose Membership Inference Attacks (MIA), originally developed as privacy attacks on machine learning models, as a constructive communication primitive to reconstruct pseudo-training sets from black-box VPR teachers without accessing their parameters or raw data. To overcome the intrinsic communication bottleneck caused by the low sampling efficiency of black-box MIA, we propose a prior-based query strategy that leverages the student's own VPR prior to focus queries on informative regions of the embedding space, thereby reducing the knowledge transfer (KT) cost. Experimental results on a standard multi-session VPR benchmark demonstrate that the proposed CCL framework yields substantial performance gains for low-performing robots under modest communication budgets, highlighting CCL as a promising building block for scalable and fault-tolerant multi-robot systems. Furthermore, we propose a Distributed Statistic Integration (DSI) framework that theoretically eliminates catastrophic forgetting by efficiently aggregating sufficient statistics from black-box VPR models while maintaining data privacy and reducing communication overhead to a sample-invariant constant complexity.


翻译:在兴起的多机器人社会中,异构智能体必须通过通信持续地从彼此提取并整合局部知识,即使它们的内部模型完全不透明。现有的视觉位置识别(VPR)持续学习或协作学习方法大多假设可以白盒访问模型参数或共享训练数据集,这在机器人在野外遇到未知同伴时是不现实的。本文介绍了\emph{持续通信学习(CCL)},一个无数据的多机器人框架,其中旅行者机器人(学生)通过一个受限的查询-响应通道与黑盒教师模型进行通信,持续提升其VPR能力。我们重新利用了原本作为机器学习模型隐私攻击的成员推理攻击(MIA),将其作为一种建设性的通信原语,用于从黑盒VPR教师模型中重建伪训练集,而无需访问其参数或原始数据。为了克服由黑盒MIA低采样效率引起的固有通信瓶颈,我们提出了一种基于先验的查询策略,该策略利用学生自身的VPR先验,将查询集中在嵌入空间的信息丰富区域,从而降低知识转移(KT)成本。在一个标准的多会话VPR基准测试上的实验结果表明,所提出的CCL框架在适度的通信预算下,为性能较低的机器人带来了显著的性能提升,突显了CCL作为可扩展且容错的多机器人系统的一个有前景的构建模块。此外,我们提出了一个分布式统计集成(DSI)框架,该框架通过高效聚合来自黑盒VPR模型的充分统计量,理论上消除了灾难性遗忘,同时保持了数据隐私,并将通信开销降低到与样本无关的常数复杂度。

0
下载
关闭预览

相关内容

在科学,计算和工程学中,黑盒是一种设备,系统或对象,可以根据其输入和输出(或传输特性)对其进行查看,而无需对其内部工作有任何了解。 它的实现是“不透明的”(黑色)。 几乎任何事物都可以被称为黑盒:晶体管,引擎,算法,人脑,机构或政府。为了使用典型的“黑匣子方法”来分析建模为开放系统的事物,仅考虑刺激/响应的行为,以推断(未知)盒子。 该黑匣子系统的通常表示形式是在该方框中居中的数据流程图。黑盒的对立面是一个内部组件或逻辑可用于检查的系统,通常将其称为白盒(有时也称为“透明盒”或“玻璃盒”)。
多模态融合与视觉-语言模型:面向机器人视觉的综述
专知会员服务
35+阅读 · 2025年4月5日
《人机交互中机器学习的透明通信》论文
专知会员服务
33+阅读 · 2023年3月12日
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
185+阅读 · 2022年4月12日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
【泡泡图灵智库】密集相关的自监督视觉描述学习(RAL)
泡泡机器人SLAM
11+阅读 · 2018年10月6日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关VIP内容
多模态融合与视觉-语言模型:面向机器人视觉的综述
专知会员服务
35+阅读 · 2025年4月5日
《人机交互中机器学习的透明通信》论文
专知会员服务
33+阅读 · 2023年3月12日
【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
185+阅读 · 2022年4月12日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员