Language-conditioned robot manipulation is an emerging field aimed at enabling seamless communication and cooperation between humans and robotic agents by teaching robots to comprehend and execute instructions conveyed in natural language. This interdisciplinary area integrates scene understanding, language processing, and policy learning to bridge the gap between human instructions and robot actions. In this comprehensive survey, we systematically explore recent advancements in language-conditioned robot manipulation. We categorize existing methods based on the primary ways language is integrated into the robot system, namely language for state evaluation, language as a policy condition, language for cognitive planning and reasoning, and language in unified vision-language-action models. Specifically, we further analyze state-of-the-art techniques from five axes of action granularity, data and supervision regimes, system cost and latency, environments and evaluations, and cross-modal task specification. Additionally, we highlight the key debates in the field. Finally, we discuss open challenges and future research directions, focusing on potentially enhancing generalization capabilities and addressing safety issues in language-conditioned robot manipulators.


翻译:语言条件化机器人操作是一个新兴领域,旨在通过教导机器人理解并执行自然语言指令,实现人类与机器人智能体之间的无缝交流与协作。这一跨学科领域整合了场景理解、语言处理与策略学习,以弥合人类指令与机器人行动之间的鸿沟。在本综述中,我们系统性地探讨了语言条件化机器人操作的最新进展。基于语言融入机器人系统的主要方式,我们将现有方法分为四类:用于状态评估的语言、作为策略条件的语言、用于认知规划与推理的语言,以及统一视觉-语言-行动模型中的语言。具体而言,我们进一步从行动粒度、数据与监督范式、系统成本与延迟、环境与评估、以及跨模态任务规范五个维度分析了前沿技术。此外,我们强调了该领域的关键争议。最后,我们讨论了开放挑战与未来研究方向,重点关注如何增强语言条件化机器人操作器的泛化能力并解决安全性问题。

0
下载
关闭预览

相关内容

大型语言模型与智能机器人集成的综述
专知会员服务
71+阅读 · 2024年4月22日
《机器人语言》美陆军5年项目46页技术总结报告,2023年
专知会员服务
41+阅读 · 2023年5月17日
【综述论文】2020年最新深度学习自然语言处理进展综述论文!!!
深度学习自然语言处理
13+阅读 · 2020年4月6日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
机器学习必备手册
机器学习研究会
19+阅读 · 2017年10月24日
Natural 自然语言处理(NLP)「全解析」
人工智能学家
14+阅读 · 2017年9月23日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Arxiv
11+阅读 · 2023年9月22日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
大型语言模型与智能机器人集成的综述
专知会员服务
71+阅读 · 2024年4月22日
《机器人语言》美陆军5年项目46页技术总结报告,2023年
专知会员服务
41+阅读 · 2023年5月17日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员