Despite the success of large language models (LLMs) across domains, their potential for efficient channel state information (CSI) compression and feedback in frequency division duplex (FDD) massive multiple-input multiple-output (mMIMO) systems remains largely unexplored yet increasingly important. In this paper, we propose a novel LLM-based framework for CSI feedback to exploit the potential of LLMs. We first reformulate the CSI compression feedback task as a masked token prediction task that aligns more closely with the functionality of LLMs. Subsequently, we design an information-theoretic mask selection strategy based on self-information, identifying and selecting CSI elements with the highest self-information at the user equipment (UE) for feedback. This ensures that masked tokens correspond to elements with lower self-information, while visible tokens correspond to elements with higher self-information, thus maximizing the accuracy of LLM predictions.


翻译:尽管大规模语言模型(LLMs)在各个领域取得了成功,但其在频分双工(FDD)大规模多输入多输出(mMIMO)系统中用于高效信道状态信息(CSI)压缩与反馈的潜力,虽日益重要却仍未得到充分探索。本文提出了一种新颖的基于LLM的CSI反馈框架,以挖掘LLMs的潜力。我们首先将CSI压缩反馈任务重新表述为一个掩码令牌预测任务,使其更贴近LLMs的功能特性。随后,我们设计了一种基于自信息的信息论掩码选择策略,在用户设备(UE)端识别并选择具有最高自信息的CSI元素进行反馈。这确保了掩码令牌对应于自信息较低的元素,而可见令牌对应于自信息较高的元素,从而最大化LLM预测的准确性。

0
下载
关闭预览

相关内容

赋能大型语言模型多领域资源挑战
专知会员服务
10+阅读 · 2025年6月10日
大语言模型在多模态推荐系统中的应用综述
专知会员服务
17+阅读 · 2025年5月17日
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
【斯坦福博士论文】大语言模型的AI辅助评估
专知会员服务
31+阅读 · 2025年3月30日
面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
多模态大语言模型研究进展!
专知会员服务
43+阅读 · 2024年7月15日
《多模态大型语言模型》最新进展,详述26种现有MM-LLMs
专知会员服务
65+阅读 · 2024年1月25日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
赋能大型语言模型多领域资源挑战
专知会员服务
10+阅读 · 2025年6月10日
大语言模型在多模态推荐系统中的应用综述
专知会员服务
17+阅读 · 2025年5月17日
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
【斯坦福博士论文】大语言模型的AI辅助评估
专知会员服务
31+阅读 · 2025年3月30日
面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
多模态大语言模型研究进展!
专知会员服务
43+阅读 · 2024年7月15日
《多模态大型语言模型》最新进展,详述26种现有MM-LLMs
专知会员服务
65+阅读 · 2024年1月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员