Internet of Things (IoT) deployments operate in nonstationary, dynamic environments where factors such as sensor drift, evolving user behavior, and heterogeneous user privacy requirements can affect application utility. Continual learning (CL) addresses this by adapting models over time without catastrophic forgetting. Meanwhile, contrastive learning has emerged as a powerful representation-learning paradigm that improves robustness and sample efficiency in a self-supervised manner. This paper reviews the usage of \emph{contrastive continual learning} (CCL) for IoT, connecting algorithmic design (replay, regularization, distillation, prompts) with IoT system realities (TinyML constraints, intermittent connectivity, privacy). We present a unifying problem formulation, derive common objectives that blend contrastive and distillation losses, propose an IoT-oriented reference architecture for on-device, edge, and cloud-based CCL, and provide guidance on evaluation protocols and metrics. Finally, we highlight open unique challenges with respect to the IoT domain, such as spanning tabular and streaming IoT data, concept drift, federated settings, and energy-aware training.


翻译:物联网(IoT)部署运行于非平稳的动态环境中,传感器漂移、用户行为演变以及异构用户隐私需求等因素均可能影响应用效能。持续学习(CL)通过使模型随时间适应而不发生灾难性遗忘来解决这一问题。与此同时,对比学习已成为一种强大的表示学习范式,能以自监督方式提升模型的鲁棒性和样本效率。本文综述了\emph{对比持续学习}(CCL)在物联网中的应用,将算法设计(回放、正则化、蒸馏、提示)与物联网系统现实(TinyML约束、间歇性连接、隐私)相结合。我们提出了统一的问题形式化表述,推导出融合对比损失与蒸馏损失的共同目标函数,设计了一种面向物联网的参考架构,支持设备端、边缘端及云端的CCL部署,并就评估协议与指标提供了指导。最后,我们重点指出了物联网领域特有的开放性挑战,例如涵盖表格与流式物联网数据、概念漂移、联邦学习场景以及能量感知训练等问题。

0
下载
关闭预览

相关内容

物联网,英文名为Internet of Things,可以简单地理解为物物相连的互联网。物联网主要通过各种设备(比如RFID,传感器,二维码等)的接口将现实世界的物体连接到互联网上,或者使它们互相连接,以实现信息的传递和处理。互联网在现实的物理世界之外新建了一个虚拟世界,物联网将会把两个世界融为一体。
持续学习的研究进展与趋势
专知会员服务
46+阅读 · 2024年3月8日
【综述】持续学习与预训练模型综述
专知会员服务
54+阅读 · 2024年1月30日
持续学习:研究综述
专知会员服务
83+阅读 · 2023年1月30日
【ECCV2022】对比视觉Transformer的在线持续学习
专知会员服务
23+阅读 · 2022年7月29日
「连续学习Continual learning, CL」最新2022研究综述
专知会员服务
85+阅读 · 2022年6月26日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
对比学习(Contrastive Learning)相关进展梳理
PaperWeekly
11+阅读 · 2020年5月12日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
迁移自适应学习最新综述,附21页论文下载
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
持续学习的研究进展与趋势
专知会员服务
46+阅读 · 2024年3月8日
【综述】持续学习与预训练模型综述
专知会员服务
54+阅读 · 2024年1月30日
持续学习:研究综述
专知会员服务
83+阅读 · 2023年1月30日
【ECCV2022】对比视觉Transformer的在线持续学习
专知会员服务
23+阅读 · 2022年7月29日
「连续学习Continual learning, CL」最新2022研究综述
专知会员服务
85+阅读 · 2022年6月26日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员