We present PIRATR, an end-to-end 3D object detection framework for robotic use cases in point clouds. Extending PI3DETR, our method streamlines parametric 3D object detection by jointly estimating multi-class 6-DoF poses and class-specific parametric attributes directly from occlusion-affected point cloud data. This formulation enables not only geometric localization but also the estimation of task-relevant properties for parametric objects, such as a gripper's opening, where the 3D model is adjusted according to simple, predefined rules. The architecture employs modular, class-specific heads, making it straightforward to extend to novel object types without re-designing the pipeline. We validate PIRATR on an automated forklift platform, focusing on three structurally and functionally diverse categories: crane grippers, loading platforms, and pallets. Trained entirely in a synthetic environment, PIRATR generalizes effectively to real outdoor LiDAR scans, achieving a detection mAP of 0.919 without additional fine-tuning. PIRATR establishes a new paradigm of pose-aware, parameterized perception. This bridges the gap between low-level geometric reasoning and actionable world models, paving the way for scalable, simulation-trained perception systems that can be deployed in dynamic robotic environments. Code available at https://github.com/swingaxe/piratr.


翻译:本文提出PIRATR——一种面向点云机器人应用场景的端到端三维物体检测框架。该方法在PI3DETR基础上进行扩展,通过直接从受遮挡影响的点云数据中联合估计多类别六自由度位姿与类别特定参数化属性,实现了参数化三维物体检测的流程优化。该框架不仅支持几何定位,还能估计参数化物体的任务相关属性(例如夹爪开合度),其中三维模型可根据预定义的简单规则进行调整。该架构采用模块化的类别专用检测头,无需重新设计流程即可直接扩展到新型物体类别。我们在自动化叉车平台上验证了PIRATR的性能,重点关注起重机夹爪、装载平台和托盘这三种结构与功能各异的类别。PIRATR完全在合成环境中训练,能有效泛化至真实室外激光雷达扫描数据,在未经额外微调的情况下达到0.919的检测平均精度。PIRATR建立了位姿感知参数化感知的新范式,弥合了底层几何推理与可操作世界模型之间的鸿沟,为可扩展的仿真训练感知系统在动态机器人环境中的部署铺平了道路。代码发布于https://github.com/swingaxe/piratr。

0
下载
关闭预览

相关内容

【AAAI2022】锚点DETR:基于transformer检测器的查询设计
专知会员服务
13+阅读 · 2021年12月31日
【pix4D篇】——Pix4D软件介绍
无人机
18+阅读 · 2018年8月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【AAAI2022】锚点DETR:基于transformer检测器的查询设计
专知会员服务
13+阅读 · 2021年12月31日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员