Ensuring timely and semantically accurate information delivery is critical in real-time wireless systems. While Age of Information (AoI) quantifies temporal freshness, Version Age of Information (VAoI) captures semantic staleness by accounting for version evolution between transmitters and receivers. Existing VAoI scheduling approaches primarily focus on minimizing average VAoI, overlooking rare but severe staleness events that can compromise reliability under stochastic packet arrivals and unreliable channels. This paper investigates both average-oriented and tail-risk-sensitive VAoI scheduling in a multi-user status update system with long-term transmission cost constraints. We first formulate the average VAoI minimization problem as a constrained Markov decision process and introduce a deep diffusion-based Soft Actor-Critic (D2SAC) algorithm. By generating actions through a diffusion-based denoising process, D2SAC enhances policy expressiveness and establishes a strong baseline for mean performance. Building on this foundation, we put forth RS-D3SAC, a risk-sensitive deep distributional diffusion-based Soft Actor-Critic algorithm. RS-D3SAC integrates a diffusion-based actor with a quantile-based distributional critic, explicitly modeling the full VAoI return distribution. This enables principled tail-risk optimization via Conditional Value-at-Risk (CVaR) while satisfying long-term transmission cost constraints. Extensive simulations show that, while D2SAC reduces average VAoI, RS-D3SAC consistently achieves substantial reductions in CVaR without sacrificing mean performance. The dominant gain in tail-risk reduction stems from the distributional critic, with the diffusion-based actor providing complementary refinement to stabilize and enrich policy decisions, highlighting their effectiveness for robust and risk-aware VAoI scheduling in multi-user wireless systems.


翻译:在实时无线系统中,确保信息传递的及时性与语义准确性至关重要。信息年龄(AoI)量化了时间新鲜度,而信息版本年龄(VAoI)则通过考虑发射端与接收端之间的版本演化来捕捉语义陈旧性。现有的VAoI调度方法主要集中于最小化平均VAoI,忽略了在随机数据包到达和不可靠信道下可能损害系统可靠性的罕见但严重的陈旧事件。本文研究了具有长期传输成本约束的多用户状态更新系统中的平均导向与尾部风险敏感VAoI调度问题。我们首先将平均VAoI最小化问题建模为一个约束马尔可夫决策过程,并提出了一种基于深度扩散的Soft Actor-Critic(D2SAC)算法。通过基于扩散的去噪过程生成动作,D2SAC增强了策略表达能力,并为平均性能建立了强基准。在此基础上,我们进一步提出了RS-D3SAC,一种风险敏感的基于深度分布扩散的Soft Actor-Critic算法。RS-D3SAC将基于扩散的执行器与基于分位数的分布评论器相结合,显式建模完整的VAoI回报分布。这使得通过条件风险价值(CVaR)进行原则性的尾部风险优化成为可能,同时满足长期传输成本约束。大量仿真结果表明,D2SAC能够降低平均VAoI,而RS-D3SAC在不牺牲平均性能的前提下,持续实现了CVaR的显著降低。尾部风险降低的主要增益源于分布评论器,而基于扩散的执行器则提供了互补的精细化调整,以稳定并丰富策略决策,凸显了它们对于多用户无线系统中鲁棒且风险感知的VAoI调度的有效性。

0
下载
关闭预览

相关内容

SAC:Selected Areas in Cryptography。 Explanation:密码术的选择区。 Publisher:Springer。 SIT:http://dblp.uni-trier.de/db/conf/sacrypt/
用于强化学习的扩散模型:基础、分类与发展
专知会员服务
23+阅读 · 2025年10月15日
《强化学习在战斗识别中的应用》76页
专知会员服务
32+阅读 · 2025年1月12日
基于强化学习的扩散模型微调:教程与综述
专知会员服务
44+阅读 · 2024年7月20日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
年龄估计技术综述
人工智能前沿讲习班
24+阅读 · 2019年2月19日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员