Recent advances in large Language Models (LLMs) have revolutionized mobile robots, including unmanned aerial vehicles (UAVs), enabling their intelligent operation within Internet of Things (IoT) ecosystems. However, LLMs still face challenges from logical reasoning and complex decision-making, leading to concerns about the reliability of LLM-driven UAV operations in IoT applications. In this paper, we propose a closed-loop LLM-driven UAV operation code generation framework that enables reliable UAV operations powered by effective feedback and refinement using two LLM modules, i.e., a Code Generator and an Evaluator. Our framework transforms numerical state observations from UAV operations into semantic trajectory descriptions to enhance the evaluator LLM's understanding of UAV dynamics for precise feedback generation. Our framework also enables a simulation-based refinement process, and hence eliminates the risks to physical UAVs caused by incorrect code execution during the refinement. Extensive experiments on UAV control tasks with different complexities are conducted. The experimental results show that our framework can achieve reliable UAV operations using LLMs, which significantly outperforms baseline methods in terms of success rate and completeness with the increase of task complexity.


翻译:近年来,大语言模型(LLMs)的进展彻底改变了包括无人机(UAVs)在内的移动机器人领域,使其能够在物联网(IoT)生态系统中进行智能操作。然而,LLMs在逻辑推理和复杂决策方面仍面临挑战,这引发了人们对LLM驱动的无人机在物联网应用中操作可靠性的担忧。本文提出了一种闭环LLM驱动的无人机操作代码生成框架,该框架通过两个LLM模块(即代码生成器和评估器)的有效反馈与精炼,实现了可靠的无人机操作。我们的框架将无人机操作中的数值状态观测转换为语义轨迹描述,以增强评估器LLM对无人机动态的理解,从而生成精确的反馈。该框架还支持基于仿真的精炼过程,从而消除了在精炼阶段因代码执行错误而对物理无人机造成的风险。我们在不同复杂度的无人机控制任务上进行了大量实验。实验结果表明,我们的框架能够利用LLMs实现可靠的无人机操作,并且随着任务复杂度的增加,在成功率和任务完成度方面显著优于基线方法。

0
下载
关闭预览

相关内容

基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
大语言模型智能体
专知会员服务
98+阅读 · 2024年12月25日
《语音大语言模型》最新进展综述
专知会员服务
57+阅读 · 2024年10月8日
移动边缘智能与大型语言模型综述
专知会员服务
41+阅读 · 2024年7月31日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Arxiv
0+阅读 · 1月27日
VIP会员
最新内容
《美陆军条例:陆军指挥政策(2026版)》
专知会员服务
10+阅读 · 4月21日
《军用自主人工智能系统的治理与安全》
专知会员服务
6+阅读 · 4月21日
《系统簇式多域作战规划范畴论框架》
专知会员服务
10+阅读 · 4月20日
高效视频扩散模型:进展与挑战
专知会员服务
5+阅读 · 4月20日
乌克兰前线的五项创新
专知会员服务
8+阅读 · 4月20日
 军事通信系统与设备的技术演进综述
专知会员服务
8+阅读 · 4月20日
《北约标准:医疗评估手册》174页
专知会员服务
6+阅读 · 4月20日
相关VIP内容
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
大语言模型智能体
专知会员服务
98+阅读 · 2024年12月25日
《语音大语言模型》最新进展综述
专知会员服务
57+阅读 · 2024年10月8日
移动边缘智能与大型语言模型综述
专知会员服务
41+阅读 · 2024年7月31日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员