In this paper, we investigate a generative artificial intelligence (GAI)-assisted semantic communication framework for non-orthogonal multiple access (NOMA)-based image transmissions. Semantic users (SUs) extract cross-modal semantic features from the raw images, which are then used for image recovery by leveraging a GAI model. The GAI enhances the generalization and recovery of semantic image transmissions, while NOMA efficiently allocates transmission capacities to SUs based on their traffic demands. Thus, the semantic extraction and transmission control jointly affect both semantic recovery performance and transmission overhead. We maximize a weighted performance of transmission latency and semantic recovery accuracy by jointly optimizing the semantic feature selection at the semantic level, as well as the receive beamforming and NOMA decoding order at the transmission level. To reduce potential redundancy in semantic features and improve optimization efficiency, we develop an importance-aware and model-driven proximal policy optimization (IM-PPO) framework. Specifically, we quantify and retain high-importance semantic features to enhance the learning efficiency of PPO, while model-based optimization methods are used to adapt the transmission control variables. Numerical results validate that the joint adjustment of the semantic feature selection and the transmission control significantly improves the semantic recovery accuracy and the transmission latency performance. Moreover, the IM-PPO framework effectively leverages the model information to improve the learning efficiency compared to benchmark methods.


翻译:本文研究了一种基于生成式人工智能(GAI)的非正交多址(NOMA)图像传输语义通信框架。语义用户(SU)从原始图像中提取跨模态语义特征,并利用GAI模型进行图像恢复。GAI增强了语义图像传输的泛化与恢复能力,而NOMA则根据用户的业务需求高效分配传输容量。因此,语义提取与传输控制共同影响语义恢复性能与传输开销。我们通过联合优化语义层面的语义特征选择以及传输层面的接收波束成形与NOMA解码顺序,最大化传输时延与语义恢复准确率的加权性能。为减少语义特征的潜在冗余并提升优化效率,我们提出了一种重要性感知的模型驱动近端策略优化(IM-PPO)框架。具体而言,通过量化并保留高重要性语义特征以增强PPO的学习效率,同时采用基于模型的优化方法自适应调整传输控制变量。数值结果验证了语义特征选择与传输控制的联合调整能显著提升语义恢复准确率与传输时延性能。此外,与基准方法相比,IM-PPO框架能有效利用模型信息提升学习效率。

0
下载
关闭预览

相关内容

用于自动驾驶的生成式人工智能:前沿与机遇
专知会员服务
28+阅读 · 2025年5月16日
生成式人工智能在交通规划中的应用:综述
专知会员服务
18+阅读 · 2025年3月15日
生成式人工智能应用发展报告(2024)
专知会员服务
76+阅读 · 2024年12月8日
生成式人工智能在先进无人机网络中的应用
专知会员服务
57+阅读 · 2024年4月20日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
27+阅读 · 2019年9月9日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
12+阅读 · 2024年4月16日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
11+阅读 · 7月19日
相关资讯
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
27+阅读 · 2019年9月9日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员