We introduce an interactive LLM-based framework designed to enhance the autonomy and robustness of domestic robots, targeting embodied intelligence. Our approach reduces reliance on large-scale data and incorporates a robot-agnostic pipeline that embodies an LLM. Our framework, InteLiPlan, ensures that the LLM's decision-making capabilities are effectively aligned with robotic functions, enhancing operational robustness and adaptability, while our human-in-the-loop mechanism allows for real-time human intervention when user instruction is required. We evaluate our method in both simulation and on the real robot platforms, including a Toyota Human Support Robot and an ANYmal D robot with a Unitree Z1 arm. Our method achieves a 95% success rate in the `fetch me' task completion with failure recovery, highlighting its capability in both failure reasoning and task planning. InteLiPlan achieves comparable performance to state-of-the-art LLM-based robotics planners, while using only real-time onboard computing. Project website: https://kimtienly.github.io/InteLiPlan.


翻译:本文提出了一种基于交互式大语言模型的框架,旨在增强家用机器人的自主性与鲁棒性,以推进具身智能的发展。该方法降低了对大规模数据的依赖,并采用了一种与机器人平台无关的、内嵌大语言模型的流程。我们的框架InteLiPlan确保了大语言模型的决策能力与机器人功能有效对齐,从而提升了操作的鲁棒性和适应性;同时,其中的人机协同机制允许在需要用户指令时进行实时的人工干预。我们在仿真环境和真实机器人平台(包括丰田人机协作机器人以及搭载Unitree Z1机械臂的ANYmal D机器人)上对该方法进行了评估。在具备故障恢复功能的“取物”任务中,我们的方法实现了95%的成功率,突显了其在故障推理与任务规划两方面的能力。InteLiPlan仅使用实时机载计算,其性能即可与当前最先进的基于大语言模型的机器人规划器相媲美。项目网站:https://kimtienly.github.io/InteLiPlan。

0
下载
关闭预览

相关内容

机器人(英语:Robot)包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人。在当代工业中,机器人指能自动运行任务的人造机器设备,用以取代或协助人类工作,一般会是机电设备,由计算机程序或是电子电路控制。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
揭示生成式人工智能 / 大型语言模型(LLMs)的军事潜力
专知会员服务
31+阅读 · 2024年9月26日
大语言模型视角下的智能规划方法综述
专知会员服务
136+阅读 · 2024年4月20日
走向通用虚拟智能体
专知会员服务
74+阅读 · 2023年11月26日
AI Agent:基于大模型的自主智能体
专知会员服务
248+阅读 · 2023年9月9日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Arxiv
0+阅读 · 1月29日
VIP会员
相关基金
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员