Autonomous 3D scanning of open-world target structures via drones remains challenging despite broad applications. Existing paradigms rely on restrictive assumptions or effortful human priors, limiting practicality, efficiency, and adaptability. Recent foundation models (FMs) offer great potential to bridge this gap. This paper investigates a critical research problem: What system architecture can effectively integrate FM knowledge for this task? We answer it with FlyCo, a principled FM-empowered perception-prediction-planning loop enabling fully autonomous, prompt-driven 3D target scanning in diverse unknown open-world environments. FlyCo directly translates low-effort human prompts (text, visual annotations) into precise adaptive scanning flights via three coordinated stages: (1) perception fuses streaming sensor data with vision-language FMs for robust target grounding and tracking; (2) prediction distills FM knowledge and combines multi-modal cues to infer the partially observed target's complete geometry; (3) planning leverages predictive foresight to generate efficient and safe paths with comprehensive target coverage. Building on this, we further design key components to boost open-world target grounding efficiency and robustness, enhance prediction quality in terms of shape accuracy, zero-shot generalization, and temporal stability, and balance long-horizon flight efficiency with real-time computability and online collision avoidance. Extensive challenging real-world and simulation experiments show FlyCo delivers precise scene understanding, high efficiency, and real-time safety, outperforming existing paradigms with lower human effort and verifying the proposed architecture's practicality. Comprehensive ablations validate each component's contribution. FlyCo also serves as a flexible, extensible blueprint, readily leveraging future FM and robotics advances. Code will be released.


翻译:尽管应用广泛,通过无人机对开放世界目标结构进行自主三维扫描仍具挑战性。现有范式依赖于限制性假设或费时费力的人工先验,限制了其实用性、效率与适应性。近期的基础模型展现出弥合这一差距的巨大潜力。本文研究一个关键科学问题:何种系统架构能有效整合基础模型知识以完成此任务?我们通过FlyCo给出答案,这是一个基于原则、由基础模型驱动的感知-预测-规划闭环系统,能够在多样未知的开放世界环境中实现完全自主、提示驱动的三维目标扫描。FlyCo通过三个协同阶段,将低人工投入的提示(文本、视觉标注)直接转化为精确的自适应扫描飞行:(1) 感知阶段融合流式传感器数据与视觉-语言基础模型,实现鲁棒的目标定位与跟踪;(2) 预测阶段提炼基础模型知识并融合多模态线索,以推断部分观测目标的完整几何结构;(3) 规划阶段利用预测前瞻性,生成高效、安全且能全面覆盖目标的路径。在此基础上,我们进一步设计关键组件以提升开放世界目标定位的效率和鲁棒性,在形状精度、零样本泛化能力和时序稳定性方面增强预测质量,并平衡长时程飞行效率与实时计算能力及在线避障需求。大量具有挑战性的真实世界与仿真实验表明,FlyCo能实现精确的场景理解、高效率和实时安全性,以更低的人工投入超越现有范式,验证了所提架构的实用性。全面的消融实验验证了各组件的贡献。FlyCo还可作为一个灵活、可扩展的蓝图,便于利用未来基础模型与机器人技术的进展。代码将公开发布。

0
下载
关闭预览

相关内容

具身智能自主无人系统技术
专知会员服务
44+阅读 · 2025年5月5日
《无人机蜂窝网络:基础、建模与分析》176页
专知会员服务
44+阅读 · 2025年3月27日
《城市三维环境下无人机路径规划算法效能比较分析》
专知会员服务
31+阅读 · 2025年3月25日
人工智能、模块化开放系统架构和未来无人战争
专知会员服务
86+阅读 · 2024年4月4日
空地异构无人系统侦察任务规划方法
专知会员服务
85+阅读 · 2024年2月26日
自主蜂群无人机是战争的新面貌
专知会员服务
58+阅读 · 2023年12月27日
无人机系统自主安全: 定义、建模与分级
专知会员服务
77+阅读 · 2022年12月28日
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
新年快乐!无人机测控通信自组网技术综述
无人机
31+阅读 · 2019年2月5日
智能无人机集群技术概述
无人机
46+阅读 · 2018年2月28日
【无人机】无人机的自主与智能控制
产业智能官
53+阅读 · 2017年11月27日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
33+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
VIP会员
最新内容
乌克兰前线的五项创新
专知会员服务
1+阅读 · 今天6:14
 军事通信系统与设备的技术演进综述
专知会员服务
1+阅读 · 今天5:59
《北约标准:医疗评估手册》174页
专知会员服务
1+阅读 · 今天5:51
《提升生成模型的安全性与保障》博士论文
专知会员服务
0+阅读 · 今天5:47
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
9+阅读 · 4月19日
澳大利亚发布《国防战略(2026年)》
专知会员服务
4+阅读 · 4月19日
全球高超音速武器最新发展趋势
专知会员服务
3+阅读 · 4月19日
相关VIP内容
相关资讯
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
新年快乐!无人机测控通信自组网技术综述
无人机
31+阅读 · 2019年2月5日
智能无人机集群技术概述
无人机
46+阅读 · 2018年2月28日
【无人机】无人机的自主与智能控制
产业智能官
53+阅读 · 2017年11月27日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
相关基金
国家自然科学基金
33+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员