Crop monitoring is essential for precision agriculture, but current systems lack high-level reasoning. We introduce a novel, modular framework that uses a Visual Language Model (VLM) to guide robotic task planning, interleaving input queries with action primitives. We contribute a comprehensive benchmark for short- and long-horizon crop monitoring tasks in monoculture and polyculture environments. Our main results show that VLMs perform robustly for short-horizon tasks (comparable to human success), but exhibit significant performance degradation in challenging long-horizon tasks. Critically, the system fails when relying on noisy semantic maps, demonstrating a key limitation in current VLM context grounding for sustained robotic operations. This work offers a deployable framework and critical insights into VLM capabilities and shortcomings for complex agricultural robotics.


翻译:作物监测对精准农业至关重要,但现有系统缺乏高层推理能力。本文提出一种新颖的模块化框架,利用视觉语言模型(VLM)引导机器人任务规划,通过交替输入查询与动作基元实现操作。我们构建了一个涵盖单作与混作环境下短时域与长时域作物监测任务的综合基准。主要结果表明:VLM在短时域任务中表现稳健(与人类成功率相当),但在具有挑战性的长时域任务中呈现显著性能下降。关键发现是,当依赖含噪声的语义地图时系统会失效,这揭示了当前VLM在持续机器人作业情境落地方面的核心局限。本研究不仅提供了可部署的框架,更为复杂农业机器人领域中VLM的能力与缺陷提供了关键见解。

0
下载
关闭预览

相关内容

多模态融合与视觉-语言模型:面向机器人视觉的综述
专知会员服务
35+阅读 · 2025年4月5日
面向空间机器人辅助操作的任务规划方法研究
专知会员服务
21+阅读 · 2025年2月10日
大规模视觉-语言模型的基准、评估、应用与挑战
专知会员服务
18+阅读 · 2025年2月10日
《遥感时序视觉语言模型》全面综述
专知会员服务
30+阅读 · 2024年12月4日
《面向视觉语言地理基础模型》综述
专知会员服务
47+阅读 · 2024年6月15日
农业知识智能服务技术综述
专知会员服务
33+阅读 · 2024年1月10日
IROS2020|机器人自主探索与建图算法,代码已开源!
中国图象图形学报
34+阅读 · 2020年9月8日
深度学习与计算机视觉任务应用综述
深度学习与NLP
51+阅读 · 2018年12月18日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员