Object reconstruction and inspection tasks play a crucial role in various robotics applications. Identifying paths that reveal the most unknown areas of the object is paramount in this context, as it directly affects reconstruction efficiency. Current methods often use sampling based path planning techniques, evaluating views along the path to enhance reconstruction performance. However, these methods are computationally expensive as they require evaluating several candidate views on the path. To this end, we propose a computationally efficient solution that relies on calculating a focus point in the most informative region and having the robot maintain this point in the camera field of view along the path. In this way, object reconstruction related information is incorporated into the whole body control of a mobile manipulator employing a visibility constraint without the need for an additional path planner. We conducted comprehensive and realistic simulations using a large dataset of 114 diverse objects of varying sizes from 57 categories to compare our method with a sampling based planning strategy and a strategy that does not employ informative paths using Bayesian data analysis. Furthermore, to demonstrate the applicability and generality of the proposed approach, we conducted real world experiments with an 8 DoF omnidirectional mobile manipulator and a legged manipulator. Our results suggest that, compared to a sampling based strategy, there is no statistically significant difference in object reconstruction entropy, and there is a 52.3% probability that they are practically equivalent in terms of coverage. In contrast, our method is 6.2 to 19.36 times faster in terms of computation time and reduces the total time the robot spends between views by 13.76% to 27.9%, depending on the camera FoV and model resolution.


翻译:物体重建与检测任务在各类机器人应用中至关重要。识别能够揭示物体最多未知区域的路径在此背景下尤为重要,因为这直接影响重建效率。现有方法通常采用基于采样的路径规划技术,通过评估路径上的视角来提升重建性能。然而,这些方法计算成本高昂,因为需要评估路径上的多个候选视角。为此,我们提出了一种计算高效的解决方案,该方法依赖于在最信息丰富的区域计算聚焦点,并引导机器人沿路径将该点保持在相机视野内。通过这种方式,物体重建相关信息被纳入移动机械臂的全身控制中,利用可见性约束,无需额外路径规划器。我们使用包含来自57个类别、尺寸各异的114个物体的数据集进行了全面且逼真的仿真,结合贝叶斯数据分析,将我们的方法与基于采样的规划策略以及不采用信息路径的策略进行了比较。此外,为展示所提方法的适用性与通用性,我们使用8自由度全向移动机械臂和腿式机械臂进行了真实世界实验。结果表明,与基于采样的策略相比,我们的方法在物体重建熵方面无统计显著差异,且在覆盖率方面有52.3%的概率实际等效。相比之下,我们的方法计算速度快6.2至19.36倍,并根据相机视场角和模型分辨率,将机器人在视角间移动的总时间减少13.76%至27.9%。

0
下载
关闭预览

相关内容

《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
深度学习的多视角三维重建技术综述
专知会员服务
23+阅读 · 2025年6月7日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
深度学习的多视角三维重建技术综述
专知会员服务
23+阅读 · 2025年6月7日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员