Potato yield is a key indicator for optimizing cultivation practices in agriculture. Potato yield can be estimated on harvesters using RGB-D cameras, which capture three-dimensional (3D) information of individual tubers moving along the conveyor belt. However, point clouds reconstructed from RGB-D images are incomplete due to self-occlusion, leading to systematic underestimation of tuber weight. To address this, we introduce PointRAFT, a high-throughput point cloud regression network that directly predicts continuous 3D shape properties, such as tuber weight, from partial point clouds. Rather than reconstructing full 3D geometry, PointRAFT infers target values directly from raw 3D data. Its key architectural novelty is an object height embedding that incorporates tuber height as an additional geometric cue, improving weight prediction under practical harvesting conditions. PointRAFT was trained and evaluated on 26,688 partial point clouds collected from 859 potato tubers across four cultivars and three growing seasons on an operational harvester in Japan. On a test set of 5,254 point clouds from 172 tubers, PointRAFT achieved a mean absolute error of 12.0 g and a root mean squared error of 17.2 g, substantially outperforming a linear regression baseline and a standard PointNet++ regression network. With an average inference time of 6.3 ms per point cloud, PointRAFT supports processing rates of up to 150 tubers per second, meeting the high-throughput requirements of commercial potato harvesters. Beyond potato weight estimation, PointRAFT provides a versatile regression network applicable to a wide range of 3D phenotyping and robotic perception tasks. The code, network weights, and a subset of the dataset are publicly available at https://github.com/pieterblok/pointraft.git.


翻译:马铃薯产量是优化农业栽培实践的关键指标。可在收割机上使用RGB-D相机估算马铃薯产量,这些相机能够捕捉沿传送带移动的单个块茎的三维(3D)信息。然而,由于自遮挡,从RGB-D图像重建的点云不完整,导致块茎重量被系统性低估。为解决此问题,我们提出了PointRAFT,一种高通量点云回归网络,可直接从局部点云预测连续的三维形状属性(如块茎重量)。PointRAFT并非重建完整的三维几何形状,而是直接从原始三维数据推断目标值。其关键的架构创新是引入了物体高度嵌入,将块茎高度作为额外的几何线索,从而改善了实际收获条件下的重量预测。PointRAFT在日本一台运行中的收割机上,使用来自四个品种、三个生长季的859个马铃薯块茎采集的26,688个局部点云进行了训练和评估。在包含172个块茎的5,254个点云的测试集上,PointRAFT实现了12.0克的平均绝对误差和17.2克的均方根误差,显著优于线性回归基线和标准的PointNet++回归网络。PointRAFT对每个点云的平均推理时间为6.3毫秒,支持高达每秒150个块茎的处理速率,满足了商用马铃薯收割机的高通量要求。除了马铃薯重量估计,PointRAF还提供了一个通用的回归网络,可广泛应用于各种三维表型分析和机器人感知任务。代码、网络权重及部分数据集已在https://github.com/pieterblok/pointraft.git 公开。

0
下载
关闭预览

相关内容

稀疏点云感知的表示学习
专知会员服务
7+阅读 · 2月9日
【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
「深度学习3D点云处理」最新2022进展综述
专知会员服务
60+阅读 · 2022年9月4日
专知会员服务
34+阅读 · 2021年7月25日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员