In this paper, we investigate a generative artificial intelligence (GAI)-assisted semantic communication framework for non-orthogonal multiple access (NOMA)-based image transmissions. Semantic users (SUs) extract cross-modal semantic features from the raw images, which are then used for image recovery by leveraging a GAI model. The GAI enhances the generalization and recovery of semantic image transmissions, while NOMA efficiently allocates transmission capacities to SUs based on their traffic demands. Thus, the semantic extraction and transmission control jointly affect both semantic recovery performance and transmission overhead. We maximize a weighted performance of transmission latency and semantic recovery accuracy by jointly optimizing the semantic feature selection at the semantic level, as well as the receive beamforming and NOMA decoding order at the transmission level. To reduce potential redundancy in semantic features and improve optimization efficiency, we develop an importance-aware and model-driven proximal policy optimization (IM-PPO) framework. Specifically, we quantify and retain high-importance semantic features to enhance the learning efficiency of PPO, while model-based optimization methods are used to adapt the transmission control variables. Numerical results validate that the joint adjustment of the semantic feature selection and the transmission control significantly improves the semantic recovery accuracy and the transmission latency performance. Moreover, the IM-PPO framework effectively leverages the model information to improve the learning efficiency compared to benchmark methods.


翻译:本文研究了一种基于生成式人工智能(GAI)的非正交多址(NOMA)图像传输语义通信框架。语义用户(SU)从原始图像中提取跨模态语义特征,并利用GAI模型进行图像恢复。GAI增强了语义图像传输的泛化与恢复能力,而NOMA则根据用户的业务需求高效分配传输容量。因此,语义提取与传输控制共同影响语义恢复性能与传输开销。我们通过联合优化语义层面的语义特征选择以及传输层面的接收波束成形与NOMA解码顺序,最大化传输时延与语义恢复准确率的加权性能。为减少语义特征的潜在冗余并提升优化效率,我们提出了一种重要性感知的模型驱动近端策略优化(IM-PPO)框架。具体而言,通过量化并保留高重要性语义特征以增强PPO的学习效率,同时采用基于模型的优化方法自适应调整传输控制变量。数值结果验证了语义特征选择与传输控制的联合调整能显著提升语义恢复准确率与传输时延性能。此外,与基准方法相比,IM-PPO框架能有效利用模型信息提升学习效率。

0
下载
关闭预览

相关内容

用于自动驾驶的生成式人工智能:前沿与机遇
专知会员服务
26+阅读 · 2025年5月16日
生成式人工智能在交通规划中的应用:综述
专知会员服务
17+阅读 · 2025年3月15日
生成式人工智能应用发展报告(2024)
专知会员服务
76+阅读 · 2024年12月8日
生成式人工智能在先进无人机网络中的应用
专知会员服务
56+阅读 · 2024年4月20日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
12+阅读 · 2024年4月16日
VIP会员
最新内容
ICML2026 | 重新思考顺序知识编辑中的正则化
专知会员服务
4+阅读 · 5月27日
《用于兵力发展选项优先排序的成本效益模型》
AutoResearch AI综述:迈向AI驱动的科学发现自动化
《Palantir边缘人工智能》手册
专知会员服务
23+阅读 · 5月26日
美军“国防自主作战群”(DAWG)概念解析
专知会员服务
5+阅读 · 5月26日
“史诗怒火”行动中的无人机与反无人机作战
专知会员服务
17+阅读 · 5月25日
相关资讯
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员