Recent advances in large Language Models (LLMs) have revolutionized mobile robots, including unmanned aerial vehicles (UAVs), enabling their intelligent operation within Internet of Things (IoT) ecosystems. However, LLMs still face challenges from logical reasoning and complex decision-making, leading to concerns about the reliability of LLM-driven UAV operations in IoT applications. In this paper, we propose a closed-loop LLM-driven UAV operation code generation framework that enables reliable UAV operations powered by effective feedback and refinement using two LLM modules, i.e., a Code Generator and an Evaluator. Our framework transforms numerical state observations from UAV operations into semantic trajectory descriptions to enhance the evaluator LLM's understanding of UAV dynamics for precise feedback generation. Our framework also enables a simulation-based refinement process, and hence eliminates the risks to physical UAVs caused by incorrect code execution during the refinement. Extensive experiments on UAV control tasks with different complexities are conducted. The experimental results show that our framework can achieve reliable UAV operations using LLMs, which significantly outperforms baseline methods in terms of success rate and completeness with the increase of task complexity.


翻译:近年来,大语言模型(LLMs)的进展彻底改变了包括无人机(UAVs)在内的移动机器人领域,使其能够在物联网(IoT)生态系统中进行智能操作。然而,LLMs在逻辑推理和复杂决策方面仍面临挑战,这引发了人们对LLM驱动的无人机在物联网应用中操作可靠性的担忧。本文提出了一种闭环LLM驱动的无人机操作代码生成框架,该框架通过两个LLM模块(即代码生成器和评估器)的有效反馈与精炼,实现了可靠的无人机操作。我们的框架将无人机操作中的数值状态观测转换为语义轨迹描述,以增强评估器LLM对无人机动态的理解,从而生成精确的反馈。该框架还支持基于仿真的精炼过程,从而消除了在精炼阶段因代码执行错误而对物理无人机造成的风险。我们在不同复杂度的无人机控制任务上进行了大量实验。实验结果表明,我们的框架能够利用LLMs实现可靠的无人机操作,并且随着任务复杂度的增加,在成功率和任务完成度方面显著优于基线方法。

0
下载
关闭预览

相关内容

基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
大语言模型智能体
专知会员服务
97+阅读 · 2024年12月25日
《语音大语言模型》最新进展综述
专知会员服务
57+阅读 · 2024年10月8日
移动边缘智能与大型语言模型综述
专知会员服务
40+阅读 · 2024年7月31日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Arxiv
0+阅读 · 1月27日
VIP会员
相关VIP内容
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
大语言模型智能体
专知会员服务
97+阅读 · 2024年12月25日
《语音大语言模型》最新进展综述
专知会员服务
57+阅读 · 2024年10月8日
移动边缘智能与大型语言模型综述
专知会员服务
40+阅读 · 2024年7月31日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员