Large-scale agricultural grounding data can now be generated automatically, but how training on such data affects a vision-language model's localization, recognition, and refusal capabilities remains unclear. To study these effects, we introduce AgroGround, containing 794,850 automatically grounded agricultural instructions for training and a separate benchmark of 1,478 human-verified images for evaluation. Among these images, 500 are independently re-annotated, yielding an inter-annotator instance F1 of 0.789. We use controlled comparisons to isolate the effects of different training choices on localization, recognition, their joint correctness, and refusal. Grounding-only fine-tuning reduces four-way recognition from 51.7% to 29.2%, with predictions showing a strong candidate-position bias. However, changing only the instruction format raises recognition to 72.7% while maintaining similar grounding performance. Training with healthy-image negatives achieves 94.1% refusal on healthy images, but only 28.6% refusal of incorrect target names on positive images, showing that these two refusal behaviors do not necessarily improve together. Reinforcement learning reveals a further trade-off, improving localization by 0.014 F1 over a matched supervised control while reducing recognition and refusal. Across model families and held-out training sources, localization transfers more reliably than recognition and target-specific refusal. External benchmarks further show that the gains depend on the domain and task. Together, these findings show that grounding fine-tuning changes the balance between localization, recognition, and refusal rather than improving all three uniformly.


翻译:暂无翻译

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
EMNLP2024|从知识图谱中习得大语言模型的规划能力
专知会员服务
31+阅读 · 2024年11月27日
农业大模型:关键技术、应用分析与发展方向
专知会员服务
53+阅读 · 2024年7月3日
农业知识智能服务技术综述
专知会员服务
33+阅读 · 2024年1月10日
GraphSAGE: GCN落地必读论文
AI100
29+阅读 · 2019年8月15日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
11+阅读 · 2018年7月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
15+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
12+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
12+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
15+阅读 · 11月6日
相关VIP内容
EMNLP2024|从知识图谱中习得大语言模型的规划能力
专知会员服务
31+阅读 · 2024年11月27日
农业大模型:关键技术、应用分析与发展方向
专知会员服务
53+阅读 · 2024年7月3日
农业知识智能服务技术综述
专知会员服务
33+阅读 · 2024年1月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员