Drones operating in human-occupied spaces suffer from insufficient communication mechanisms that create uncertainty about their intentions. We present HoverAI, an embodied aerial agent that integrates drone mobility, infrastructure-independent visual projection, and real-time conversational AI into a unified platform. Equipped with a MEMS laser projector, onboard semi-rigid screen, and RGB camera, HoverAI perceives users through vision and voice, responding via lip-synced avatars that adapt appearance to user demographics. The system employs a multimodal pipeline combining VAD, ASR (Whisper), LLM-based intent classification, RAG for dialogue, face analysis for personalization, and voice synthesis (XTTS v2). Evaluation demonstrates high accuracy in command recognition (F1: 0.90), demographic estimation (gender F1: 0.89, age MAE: 5.14 years), and speech transcription (WER: 0.181). By uniting aerial robotics with adaptive conversational AI and self-contained visual output, HoverAI introduces a new class of spatially-aware, socially responsive embodied agents for applications in guidance, assistance, and human-centered interaction.


翻译:在人类活动空间运行的无人机因通信机制不足而导致其意图表达不明确。本文提出HoverAI,一种将无人机机动性、独立于基础设施的视觉投影和实时对话式人工智能集成于统一平台的具身空中智能体。该系统配备MEMS激光投影仪、机载半刚性屏幕和RGB摄像头,通过视觉与语音感知用户,并经由口型同步的虚拟形象进行响应,该形象能根据用户人口统计特征自适应调整外观。系统采用多模态处理流程,结合语音活动检测(VAD)、自动语音识别(Whisper)、基于大语言模型的意图分类、用于对话的检索增强生成技术、用于个性化服务的人脸分析以及语音合成技术(XTTS v2)。评估结果表明,该系统在指令识别(F1分数:0.90)、人口特征估计(性别F1分数:0.89,年龄平均绝对误差:5.14岁)和语音转写(词错误率:0.181)方面均表现出较高精度。通过融合空中机器人技术、自适应对话式人工智能与自包含视觉输出能力,HoverAI开创了一类具有空间感知与社会响应能力的具身智能体新范式,可应用于导引、辅助及以人为中心的交互场景。

0
下载
关闭预览

相关内容

人类与人工智能战斗飞行员的交互研究
专知会员服务
23+阅读 · 2025年10月23日
AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
24+阅读 · 2025年5月26日
具身智能自主无人系统技术
专知会员服务
38+阅读 · 2025年5月5日
《支持人类-多无人机编队协作的智能体》
专知会员服务
30+阅读 · 2025年2月27日
《设计人类-无人机蜂群交互系统》2025最新122页
专知会员服务
57+阅读 · 2025年2月23日
人工智能与无人机
专知会员服务
73+阅读 · 2024年7月13日
具身智能:突破人机边界,AI产业的下一站
专知会员服务
88+阅读 · 2024年5月18日
AI Agent:基于大模型的自主智能体
专知会员服务
248+阅读 · 2023年9月9日
《无人智群及其社会融合》最新论文,中国工程院院刊
专知会员服务
28+阅读 · 2022年6月20日
【人机融合智能】人机融合智能的现状与展望
产业智能官
11+阅读 · 2020年3月18日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
【无人机】无人机的自主与智能控制
产业智能官
53+阅读 · 2017年11月27日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
Arxiv
0+阅读 · 2月10日
Arxiv
0+阅读 · 2月4日
VIP会员
相关VIP内容
人类与人工智能战斗飞行员的交互研究
专知会员服务
23+阅读 · 2025年10月23日
AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
24+阅读 · 2025年5月26日
具身智能自主无人系统技术
专知会员服务
38+阅读 · 2025年5月5日
《支持人类-多无人机编队协作的智能体》
专知会员服务
30+阅读 · 2025年2月27日
《设计人类-无人机蜂群交互系统》2025最新122页
专知会员服务
57+阅读 · 2025年2月23日
人工智能与无人机
专知会员服务
73+阅读 · 2024年7月13日
具身智能:突破人机边界,AI产业的下一站
专知会员服务
88+阅读 · 2024年5月18日
AI Agent:基于大模型的自主智能体
专知会员服务
248+阅读 · 2023年9月9日
《无人智群及其社会融合》最新论文,中国工程院院刊
专知会员服务
28+阅读 · 2022年6月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员