Potato yield is a key indicator for optimizing cultivation practices in agriculture. Potato yield can be estimated on harvesters using RGB-D cameras, which capture three-dimensional (3D) information of individual tubers moving along the conveyor belt. However, point clouds reconstructed from RGB-D images are incomplete due to self-occlusion, leading to systematic underestimation of tuber weight. To address this, we introduce PointRAFT, a high-throughput point cloud regression network that directly predicts continuous 3D shape properties, such as tuber weight, from partial point clouds. Rather than reconstructing full 3D geometry, PointRAFT infers target values directly from raw 3D data. Its key architectural novelty is an object height embedding that incorporates tuber height as an additional geometric cue, improving weight prediction under practical harvesting conditions. PointRAFT was trained and evaluated on 26,688 partial point clouds collected from 859 potato tubers across four cultivars and three growing seasons on an operational harvester in Japan. On a test set of 5,254 point clouds from 172 tubers, PointRAFT achieved a mean absolute error of 12.0 g and a root mean squared error of 17.2 g, substantially outperforming a linear regression baseline and a standard PointNet++ regression network. With an average inference time of 6.3 ms per point cloud, PointRAFT supports processing rates of up to 150 tubers per second, meeting the high-throughput requirements of commercial potato harvesters. Beyond potato weight estimation, PointRAFT provides a versatile regression network applicable to a wide range of 3D phenotyping and robotic perception tasks. The code, network weights, and a subset of the dataset are publicly available at https://github.com/pieterblok/pointraft.git.


翻译:马铃薯产量是优化农业栽培实践的关键指标。可在收割机上使用RGB-D相机估算马铃薯产量,这些相机能够捕捉沿传送带移动的单个块茎的三维(3D)信息。然而,由于自遮挡,从RGB-D图像重建的点云不完整,导致块茎重量被系统性低估。为解决此问题,我们提出了PointRAFT,一种高通量点云回归网络,可直接从局部点云预测连续的三维形状属性(如块茎重量)。PointRAFT并非重建完整的三维几何形状,而是直接从原始三维数据推断目标值。其关键的架构创新是引入了物体高度嵌入,将块茎高度作为额外的几何线索,从而改善了实际收获条件下的重量预测。PointRAFT在日本一台运行中的收割机上,使用来自四个品种、三个生长季的859个马铃薯块茎采集的26,688个局部点云进行了训练和评估。在包含172个块茎的5,254个点云的测试集上,PointRAFT实现了12.0克的平均绝对误差和17.2克的均方根误差,显著优于线性回归基线和标准的PointNet++回归网络。PointRAFT对每个点云的平均推理时间为6.3毫秒,支持高达每秒150个块茎的处理速率,满足了商用马铃薯收割机的高通量要求。除了马铃薯重量估计,PointRAF还提供了一个通用的回归网络,可广泛应用于各种三维表型分析和机器人感知任务。代码、网络权重及部分数据集已在https://github.com/pieterblok/pointraft.git 公开。

0
下载
关闭预览

相关内容

【NeurIPS2024】几何轨迹扩散模型
专知会员服务
24+阅读 · 2024年10月20日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS2024】几何轨迹扩散模型
专知会员服务
24+阅读 · 2024年10月20日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员