Agricultural robotics has emerged as a critical solution to the labor shortages and rising costs associated with manual crop harvesting. Bell pepper harvesting, in particular, is a labor-intensive task, accounting for up to 50% of total production costs. While automated solutions have shown promise in controlled greenhouse environments, harvesting in unstructured outdoor farms remains an open challenge due to environmental variability and occlusion. This paper presents VADER (Vision-guided Autonomous Dual-arm Extraction Robot), a dual-arm mobile manipulation system designed specifically for the autonomous harvesting of bell peppers in outdoor environments. The system integrates a robust perception pipeline coupled with a dual-arm planning framework that coordinates a gripping arm and a cutting arm for extraction. We validate the system through trials in various realistic conditions, demonstrating a harvest success rate exceeding 60% with a cycle time of under 100 seconds per fruit, while also featuring a teleoperation fail-safe based on the GELLO teleoperation framework to ensure robustness. To support robust perception, we contribute a hierarchically structured dataset of over 3,200 images spanning indoor and outdoor domains, pairing wide-field scene images with close-up pepper images to enable a coarse-to-fine training strategy from fruit detection to high-precision pose estimation. The code and dataset will be made publicly available upon acceptance.


翻译:农业机器人已成为应对人工作物收获相关劳动力短缺和成本上升的关键解决方案。甜椒收获尤其是一项劳动密集型任务,占总生产成本的比例高达50%。尽管自动化解决方案在受控温室环境中已显示出潜力,但由于环境多变性和遮挡问题,在非结构化户外农场中的收获仍是一个开放挑战。本文提出VADER(视觉引导自主双臂采摘机器人),这是一种专为户外环境自主收获甜椒设计的双臂移动操作系统。该系统集成了鲁棒的感知流程与双臂规划框架,协调抓取臂和切割臂进行采摘。我们通过在多种现实条件下的试验验证该系统,证明其收获成功率超过60%,单果循环时间低于100秒,同时基于GELLO遥操作框架设计了遥操作故障安全机制以确保鲁棒性。为支持鲁棒感知,我们贡献了一个包含3200多张图像的分层结构化数据集,涵盖室内和室外场景,将广域场景图像与甜椒特写图像配对,实现了从果实检测到高精度姿态估计的由粗到精训练策略。代码和数据集将在论文录用后公开提供。

0
下载
关闭预览

相关内容

生成式人工智能在机器人操作中的应用:综述
专知会员服务
29+阅读 · 2025年3月6日
农业机器人现状与展望
专知会员服务
18+阅读 · 2025年2月19日
《协作机器人的学习行为树》最新146页博士论文
专知会员服务
49+阅读 · 2024年2月7日
【斯坦福博士论文】智能机器人行为自适应学习,141页pdf
前沿:水下机器人及其导航系统
科学出版社
11+阅读 · 2019年6月22日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
机器人操作的“圣杯问题” -- Bin Picking
机器人学家
16+阅读 · 2018年8月2日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
11+阅读 · 2023年9月22日
VIP会员
最新内容
ICML 2026 | SARDI:扩散语言模型的自增强检索
专知会员服务
4+阅读 · 6月6日
《国防领域安全采用大语言模型的战略蓝图》
专知会员服务
6+阅读 · 6月6日
ICML 2026 | 演化选择的因果建模
专知会员服务
7+阅读 · 6月5日
综述|学习式3D表征最新进展与趋势
专知会员服务
7+阅读 · 6月5日
人工智能重塑威慑:算法优势的兴起
专知会员服务
7+阅读 · 6月5日
AgentOps综述:智能体系统运维框架
专知会员服务
17+阅读 · 6月4日
《美陆军最新条令:兵力防护》
专知会员服务
14+阅读 · 6月4日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员