The use of artificial intelligence (AI) for drone control can have a transformative impact on drone capabilities, especially when real world information can be integrated with drone sensing, command, and control, part of a growing field of physical AI. Large language models (LLMs) can be advantageous if trained at scale on general knowledge, but especially and in particular when the training data includes information such as detailed map geography topology of the entire planet, as well as the ability to access real time situational data such as weather. However, challenges remain in the interface between drones and LLMs in general, with each application requiring a tedious, labor intensive effort to connect the LLM trained knowledge to drone command and control. Here, we solve that problem, using an interface strategy that is LLM agnostic and drone agnostic, providing the first universal, versatile, comprehensive and easy to use drone control interface. We do this using the new model context protocol (MCP) standard, an open standard that provides a universal way for AI systems to access external data, tools, and services. We develop and deploy a cloud based Linux machine hosting an MCP server that supports the Mavlink protocol, an ubiquitous drone control language used almost universally by millions of drones including Ardupilot and PX4 framework.We demonstrate flight control of a real unmanned aerial vehicle. In further testing, we demonstrate extensive flight planning and control capability in a simulated drone, integrated with a Google Maps MCP server for up to date, real time navigation information. This demonstrates a universal approach to integration of LLMs with drone command and control, a paradigm that leverages and exploits virtually all of modern AI industry with drone technology in an easy to use interface that translates natural language to drone control.


翻译:利用人工智能(AI)控制无人机可对无人机能力产生变革性影响,尤其是当真实世界信息能够与无人机感知、指挥与控制相集成时——这属于日益发展的物理AI领域的一部分。大语言模型(LLMs)若能在通用知识上进行大规模训练将具有优势,特别是当训练数据包含诸如全球详细地图地理拓扑信息以及获取天气等实时态势数据能力时尤为显著。然而,无人机与LLMs之间的接口仍普遍存在挑战,每个应用都需要繁琐且劳动密集型的努力来连接LLM训练知识与无人机指挥控制。本文通过采用一种与LLM无关且与无人机无关的接口策略解决了该问题,首次提供了通用、多功能、全面且易于使用的无人机控制接口。我们利用新的模型上下文协议(MCP)标准实现这一目标,该开放标准为AI系统访问外部数据、工具和服务提供了通用方式。我们开发并部署了一台基于云的Linux机器,托管支持Mavlink协议(一种被包括Ardupilot和PX4框架在内的数百万架无人机几乎普遍使用的无人机控制语言)的MCP服务器。我们展示了真实无人机的飞行控制能力。在进一步测试中,我们在模拟无人机中演示了广泛的飞行规划与控制能力,并与谷歌地图MCP服务器集成以获取最新的实时导航信息。这证明了将LLMs与无人机指挥控制集成的通用方法,这一范式充分利用了现代AI产业与无人机技术的几乎所有成果,并通过将自然语言转化为无人机控制的易用接口实现。

0
下载
关闭预览

相关内容

中文版 | 生成式大语言模型在美海军舰员中的应用
专知会员服务
13+阅读 · 2025年6月14日
可解释人工智能中的大语言模型:全面综述
专知会员服务
54+阅读 · 2025年4月2日
面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
通过大语言模型和人工智能的力量改变军事规划
专知会员服务
150+阅读 · 2023年9月1日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
【无人机】无人机的自主与智能控制
产业智能官
54+阅读 · 2017年11月27日
无人机飞行控制方法概述
无人机
13+阅读 · 2017年10月7日
国家自然科学基金
37+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
19+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
29+阅读 · 2011年12月31日
Arxiv
26+阅读 · 2024年2月9日
Arxiv
25+阅读 · 2023年6月23日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 今天4:08
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关VIP内容
中文版 | 生成式大语言模型在美海军舰员中的应用
专知会员服务
13+阅读 · 2025年6月14日
可解释人工智能中的大语言模型:全面综述
专知会员服务
54+阅读 · 2025年4月2日
面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
通过大语言模型和人工智能的力量改变军事规划
专知会员服务
150+阅读 · 2023年9月1日
相关基金
国家自然科学基金
37+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
19+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
29+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员