With the growth of intelligent civil infrastructure and smart cities, operation and maintenance (O&M) increasingly requires safe, efficient, and energy-conscious robotic manipulation of articulated components, including access doors, service drawers, and pipeline valves. However, existing robotic approaches either focus primarily on grasping or target object-specific articulated manipulation, and they rarely incorporate explicit actuation energy into multi-objective optimisation, which limits their scalability and suitability for long-term deployment in real O&M settings. Therefore, this paper proposes an articulation-agnostic and energy-aware reinforcement learning framework for robotic manipulation in intelligent infrastructure O&M. The method combines part-guided 3D perception, weighted point sampling, and PointNet-based encoding to obtain a compact geometric representation that generalises across heterogeneous articulated objects. Manipulation is formulated as a Constrained Markov Decision Process (CMDP), in which actuation energy is explicitly modelled and regulated via a Lagrangian-based constrained Soft Actor-Critic scheme. The policy is trained end-to-end under this CMDP formulation, enabling effective articulated-object operation while satisfying a long-horizon energy budget. Experiments on representative O&M tasks demonstrate 16%-30% reductions in energy consumption, 16%-32% fewer steps to success, and consistently high success rates, indicating a scalable and sustainable solution for infrastructure O&M manipulation.


翻译:随着智能土木基础设施和智慧城市的发展,运维(O&M)日益需要安全、高效且具备能量意识的机器人操作,以处理包括检修门、服务抽屉和管道阀门在内的铰接部件。然而,现有机器人方法要么主要聚焦于抓取,要么针对特定物体的铰接操作,且极少将显式驱动能量纳入多目标优化中,这限制了它们在真实运维场景中的可扩展性和长期部署的适用性。因此,本文提出了一种面向智能基础设施运维中机器人操作的、不依赖具体铰接类型且具备能量感知的强化学习框架。该方法结合了部件引导的三维感知、加权点采样和基于PointNet的编码,以获取一个能泛化于多种异构铰接物体的紧凑几何表示。操作被建模为约束马尔可夫决策过程(CMDP),其中驱动能量被显式建模,并通过基于拉格朗日乘子的约束软演员-评论家(SAC)方案进行调控。策略在该CMDP框架下进行端到端训练,从而在满足长时域能量预算的同时实现对铰接物体的有效操作。在代表性运维任务上的实验表明,该方法能降低16%-30%的能量消耗,减少16%-32%的成功操作步数,并保持稳定的高成功率,为基础设施运维操作提供了一种可扩展且可持续的解决方案。

0
下载
关闭预览

相关内容

电力人工智能技术研究框架、应用现状及展望
专知会员服务
17+阅读 · 2025年5月15日
电力设施多模态精细化机器人巡检关键技术及应用
专知会员服务
13+阅读 · 2025年2月6日
【NTU博士论文】机器人装配中的强化学习,136页pdf
专知会员服务
32+阅读 · 2024年8月6日
微型软体机器人能源驱动技术研究进展
专知会员服务
20+阅读 · 2023年7月12日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
16+阅读 · 2022年6月4日
专知会员服务
66+阅读 · 2021年4月22日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
技术 | 强化学习入门以及代码实现
AI100
51+阅读 · 2017年8月26日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员