Smart-home sensor data holds significant potential for several applications, including healthcare monitoring and assistive technologies. Existing approaches, however, face critical limitations. Supervised models require impractical amounts of labeled data. Foundation models for activity recognition focus only on inertial sensors, failing to address the unique characteristics of smart-home binary sensor events: their sparse, discrete nature combined with rich semantic associations. LLM-based approaches, while tested in this domain, still raise several issues regarding the need for natural language descriptions or prompting, and reliance on either external services or expensive hardware, making them infeasible in real-life scenarios due to privacy and cost concerns. We introduce DomusFM, the first foundation model specifically designed and pretrained for smart-home sensor data. DomusFM employs a self-supervised dual contrastive learning paradigm to capture both token-level semantic attributes and sequence-level temporal dependencies. By integrating semantic embeddings from a lightweight language model and specialized encoders for temporal patterns and binary states, DomusFM learns generalizable representations that transfer across environments and tasks related to activity and event analysis. Through leave-one-dataset-out evaluation across seven public smart-home datasets, we demonstrate that DomusFM outperforms state-of-the-art baselines on different downstream tasks, achieving superior performance even with only 5% of labeled training data available for fine-tuning. Our approach addresses data scarcity while maintaining practical deployability for real-world smart-home systems.


翻译:智能家居传感器数据在健康监测与辅助技术等多个应用领域具有重要潜力。然而,现有方法存在显著局限性:监督模型需要大量标注数据,这在实践中难以实现;活动识别领域的基础模型仅关注惯性传感器,未能处理智能家居二元传感器事件特有的稀疏离散特性及其丰富的语义关联;基于大语言模型的方法虽在该领域有所尝试,但仍存在若干问题,包括对自然语言描述或提示的需求、对外部服务或昂贵硬件的依赖,这些因素因隐私与成本考量在实际场景中往往不可行。本文提出DomusFM,这是首个专为智能家居传感器数据设计与预训练的基础模型。DomusFM采用自监督双对比学习范式,以同时捕获令牌级语义属性与序列级时序依赖。通过集成轻量级语言模型的语义嵌入、以及针对时序模式与二元状态的专用编码器,DomusFM能够学习可迁移的通用表征,适用于跨环境与跨任务的活动及事件分析。在七个公开智能家居数据集上进行的留一数据集评估表明,DomusFM在不同下游任务中均优于现有先进基线方法,即使在仅使用5%标注数据进行微调的情况下仍能取得优异性能。本方法在解决数据稀缺问题的同时,保持了现实智能家居系统实际部署的可行性。

0
下载
关闭预览

相关内容

智能家居,即 home automation,有时候也叫做 smart-home. 代表公司有 Nest.
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
大模型+遥感?最新《遥感中的人工智能基础模型》综述
专知会员服务
63+阅读 · 2024年8月10日
国家标准《物联网 群智感知 技术架构》(征求 意见稿)
光学遥感图像目标检测数据集综述
专知会员服务
31+阅读 · 2024年3月29日
遥感跨模态智能解译:模型、数据与应用
专知会员服务
84+阅读 · 2023年6月4日
数据中心传感器技术应用 白皮书
专知会员服务
45+阅读 · 2021年11月13日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
【学科发展报告】智慧城市
中国自动化学会
10+阅读 · 2019年1月14日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
1+阅读 · 1月28日
VIP会员
相关VIP内容
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
大模型+遥感?最新《遥感中的人工智能基础模型》综述
专知会员服务
63+阅读 · 2024年8月10日
国家标准《物联网 群智感知 技术架构》(征求 意见稿)
光学遥感图像目标检测数据集综述
专知会员服务
31+阅读 · 2024年3月29日
遥感跨模态智能解译:模型、数据与应用
专知会员服务
84+阅读 · 2023年6月4日
数据中心传感器技术应用 白皮书
专知会员服务
45+阅读 · 2021年11月13日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员