The transition to 6G calls for tightly integrated sensing and communication to support mission-critical services such as autonomous driving, embodied AI, and high-precision telemedicine. However, most existing ISAC designs rely on a single sensing modality (often RF), which limits environmental understanding and becomes a bottleneck in complex and dynamic scenes. This motivates a shift from single-modal to multimodal ISAC, where heterogeneous sensors (e.g., radar, LiDAR, and cameras) complement each other to improve robustness and semantic awareness. In this article, we first summarize key challenges for multimodal ISAC, including heterogeneous fusion, communication overhead, and scalable system design. We then highlight three enabling technologies: large AI models, semantic communications, and multi-agent systems, and discuss how their combination can enable task-oriented multimodal perception. Building on these insights, we propose a unified cloud-edge-terminal (CET) framework that hierarchically distributes intelligence and supports three adaptive operation modes: global fusion mode (GFM), cooperative relay mode (CRM), and peer interaction mode (PIM). A case study evaluates the framework across three modes, demonstrating that GFM achieves the highest accuracy, PIM minimizes latency, and CRM strikes an optimal balance between performance and efficiency. Finally, we conclude with open research issues and future directions.


翻译:向6G的演进要求紧密集成的感知与通信能力,以支持自主驾驶、具身人工智能和高精度远程医疗等关键任务服务。然而,现有大多数综合感知与通信设计依赖单一感知模态(通常为射频),这限制了环境感知能力,并在复杂动态场景中成为瓶颈。这推动了从单模态向多模态综合感知与通信的转变,其中异构传感器(如雷达、激光雷达和摄像头)相互补充,以增强鲁棒性和语义感知能力。本文首先总结了多模态综合感知与通信的关键挑战,包括异构融合、通信开销和可扩展系统设计。随后,我们着重介绍了三种使能技术:大型人工智能模型、语义通信和多智能体系统,并讨论了它们的结合如何实现面向任务的多模态感知。基于这些见解,我们提出了一种统一的云边端框架,该框架分层分布智能,并支持三种自适应运行模式:全局融合模式、协作中继模式和点对点交互模式。通过案例研究对三种模式进行评估,结果表明全局融合模式精度最高,点对点交互模式延迟最低,而协作中继模式在性能与效率之间实现了最佳平衡。最后,我们总结了开放研究问题与未来方向。

0
下载
关闭预览

相关内容

《基于学习的下一代智能网络优化方法》180页
专知会员服务
26+阅读 · 2025年4月4日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
《6G总体白皮书》未来移动通信论坛
专知会员服务
42+阅读 · 2022年4月15日
《面向6G的数字孪生技术》未来移动通信论坛
专知会员服务
73+阅读 · 2022年4月15日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
27+阅读 · 2019年9月9日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员