The rapid proliferation of IoT applications has intensified the demand for efficient and secure service placement in Fog computing. However, heterogeneous resources, dynamic workloads, and diverse security requirements make optimal service placement highly challenging. Most solutions focus primarily on performance metrics while overlooking the security implications of deployment decisions. This paper proposes a Security and Performance-Aware Distributed Deep Reinforcement Learning (SPA-DDRL) framework for joint optimization of service response time and security compliance in Fog computing. The problem is formulated as a weighted multi-objective optimization task, minimizing latency while maximizing a security score derived from the security capabilities of Fog nodes. The security score features a new three-tier hierarchy, where configuration-level checks verify proper settings, capability-level assessments evaluate the resource security features, and control-level evaluations enforce stringent policies, thereby ensuring compliant solutions that align with performance objectives. SPA-DDRL adopts a distributed broker-learner architecture where multiple brokers perform autonomous service-placement decisions and a centralized learner coordinates global policy optimization through shared prioritized experiences. It integrates three key improvements, including Long Short-Term Memory networks, Prioritized Experience Replay, and off-policy correction mechanisms to improve the agent's performance. Experiments based on real IoT workloads show that SPA-DDRL significantly improves both service response time and placement security compared to current approaches, achieving a 16.3% improvement in response time and a 33% faster convergence rate. It also maintains consistent, feasible, security-compliant solutions across all system scales, while baseline techniques fail or show performance degradation.


翻译:物联网应用的快速普及加剧了雾计算中对高效安全服务部署的需求。然而,异构资源、动态工作负载及多样化的安全要求使得最优服务部署极具挑战性。现有方案大多主要关注性能指标,而忽视了部署决策的安全影响。本文提出一种安全与性能感知的分布式深度强化学习框架,用于在雾计算中联合优化服务响应时间与安全合规性。该问题被建模为加权多目标优化任务,旨在最小化延迟的同时最大化基于雾节点安全能力推导出的安全评分。该安全评分采用新型三层层次结构:配置级检查验证正确设置,能力级评估衡量资源安全特性,控制级评估执行严格策略,从而确保符合性能目标的合规解决方案。SPA-DDRL采用分布式代理-学习者架构,其中多个代理执行自主服务部署决策,集中式学习者通过共享优先经验协调全局策略优化。该框架集成了三项关键改进,包括长短期记忆网络、优先经验回放和离策略校正机制,以提升智能体性能。基于真实物联网工作负载的实验表明,相较于现有方法,SPA-DDRL在服务响应时间和部署安全性方面均有显著提升,响应时间改善16.3%,收敛速度加快33%。该框架能在所有系统规模下保持稳定、可行且安全合规的解决方案,而基线方法则出现失效或性能退化现象。

0
下载
关闭预览

相关内容

【ICML2025】通过在线世界模型规划的持续强化学习
专知会员服务
20+阅读 · 2025年7月18日
面向关系建模的合作多智能体深度强化学习综述
专知会员服务
39+阅读 · 2025年4月18日
低质量数据的多模态融合综述
专知会员服务
57+阅读 · 2024年5月4日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Arxiv
0+阅读 · 1月6日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员