There is growing interest in enabling wireless sensing systems to interpret human motion from unsegmented wireless signals; however, existing CSI-based applications rely heavily on accurate signal segmentation and predefined action labels, limiting their applicability in zero-shot scenarios. We present WirelessSenseLLM, a language-driven framework that leverages large language models (LLMs) to enable zero-shot human motion understanding from unsegmented Wi-Fi Channel State Information (CSI). To bridge the modality gap between time-series CSI and discrete language representations, we introduce a CSI-to-Language Adapter and a cross-modal projection mechanism that maps CSI features into a language-aligned semantic space. This design enables the generation of fine-grained natural language descriptions of sequential and overlapping human motions, supporting downstream reasoning without segmented training data. We address two core technical challenges: modality mismatch between CSI features and language embeddings, and overlapping actions in unsegmented CSI streams. Extensive experiments demonstrate strong performance in zero-shot action understanding (92% accuracy and 91% F1-score), language-based reasoning quality (30% factual and 15% reasoning improvements), and multi-person motion explanation with an average 12.33% improvement over prior methods. These results highlight WirelessSenseLLM's effectiveness for robust and interpretable human motion understanding from CSI signals.


翻译:无线感知系统从非分割无线信号中解释人体运动的兴趣日益增长,然而现有基于CSI的应用严重依赖准确的信号分割和预定义动作标签,限制了其在零样本场景中的适用性。我们提出WirelessSenseLLM,一个语言驱动框架,利用大语言模型(LLMs)实现从非分割Wi-Fi信道状态信息(CSI)中进行零样本人体运动理解。为弥合时序CSI与离散语言表示之间的模态差距,我们引入CSI到语言适配器(CSI-to-Language Adapter)及跨模态投影机制,将CSI特征映射至语言对齐的语义空间。这种设计能够生成连续和重叠人体运动的细粒度自然语言描述,支持无需分割训练数据的下游推理。我们解决两个核心技术挑战:CSI特征与语言嵌入之间的模态不匹配,以及非分割CSI流中的重叠动作。大量实验证明,该模型在零样本动作理解(准确率92%,F1分数91%)、基于语言的推理质量(事实性改进30%,推理改进15%)以及多人运动解释方面表现出色,平均较先前方法提升12.33%。这些结果凸显了WirelessSenseLLM在从CSI信号中进行鲁棒且可解释的人体运动理解方面的有效性。

0
下载
关闭预览

相关内容

综述:面向移动端大语言模型的隐私与安全
专知会员服务
19+阅读 · 2025年9月7日
移动边缘智能与大型语言模型综述
专知会员服务
42+阅读 · 2024年7月31日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
北大新技术:利用WiFi设备进行人体行为识别!
全球人工智能
12+阅读 · 2018年2月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
9+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员