Due to the surging amount of AI-generated images, its provisioning to edges and mobile users from the cloud incurs substantial traffic on networks. Generative semantic communication (GSC) offers a promising solution by transmitting highly compact information, i.e., prompt text and latent representations, instead of high-dimensional image data. However, GSC relies on the alignment between the knowledge in the cloud generative AI (GAI) and that possessed by the edges and users, and between the knowledge for wireless transmission and that of actual channels, which remains challenging. In this paper, we propose DeKA-g, a distillation-enabled knowledge alignment algorithm for GSC systems. The core idea is to distill the image generation knowledge from the cloud-GAI into low-rank matrices, which can be incorporated by the edge and used to adapt the transmission knowledge to diverse wireless channel conditions. DeKA-g comprises two novel methods: metaword-aided knowledge distillation (MAKD) and condition-aware low-rank adaptation (CALA). For MAKD, an optimized metaword is employed to enhance the efficiency of knowledge distillation, while CALA enables efficient adaptation to diverse rate requirements and channel conditions. From simulation results, DeKA-g improves the consistency between the edge-generated images and the cloud-generated ones by 44% and enahnces the average transmission quality in terms of PSNR by 6.5 dB over the baselines without knowledge alignment.


翻译:由于AI生成图像数量激增,将其从云端提供给边缘和移动用户会给网络带来巨大流量负担。生成式语义通信通过传输高度紧凑的信息(即提示文本和潜在表示)而非高维图像数据,为此提供了有前景的解决方案。然而,GSC的实现依赖于云端生成式人工智能所具备的知识与边缘及用户端知识之间的对齐,以及无线传输知识与实际信道特性之间的匹配,这仍然是当前面临的挑战。本文提出DeKA-g算法——一种基于蒸馏的知识对齐方法,专为GSC系统设计。其核心思想是将云端GAI中的图像生成知识蒸馏为低秩矩阵,这些矩阵可被边缘侧集成,并用于使传输知识适应多样化的无线信道条件。DeKA-g包含两项创新方法:元词辅助知识蒸馏与条件感知低秩适配。在MAKD中,通过优化设计的元词提升知识蒸馏效率;而CALA则能根据不同的速率需求和信道条件实现高效适配。仿真结果表明,与未进行知识对齐的基线方法相比,DeKA-g将边缘生成图像与云端生成图像的一致性提升了44%,并在PSNR指标上将平均传输质量提高了6.5 dB。

0
下载
关闭预览

相关内容

《检索增强生成在AIGC中的应用》综述
专知会员服务
92+阅读 · 2024年3月2日
生成式AI:认知对抗的新武器
专知会员服务
83+阅读 · 2023年12月29日
AIGC时代的多模态知识工程思考与展望
专知会员服务
135+阅读 · 2023年4月10日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
96+阅读 · 2020年3月25日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
【学界】 李飞飞学生最新论文:利用场景图生成图像
GAN生成式对抗网络
15+阅读 · 2018年4月9日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
《检索增强生成在AIGC中的应用》综述
专知会员服务
92+阅读 · 2024年3月2日
生成式AI:认知对抗的新武器
专知会员服务
83+阅读 · 2023年12月29日
AIGC时代的多模态知识工程思考与展望
专知会员服务
135+阅读 · 2023年4月10日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
96+阅读 · 2020年3月25日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员