Equipping robotic faces with singing capabilities is crucial for empathetic Human-Robot Interaction. However, existing robotic face driving research primarily focuses on conversations or mimicking static expressions, struggling to meet the high demands for continuous emotional expression and coherence in singing. To address this, we propose a novel avatar-driven framework for appealing robotic singing. We first leverage portrait video generation models embedded with extensive human priors to synthesize vivid singing avatars, providing reliable expression and emotion guidance. Subsequently, these facial features are transferred to the robot via semantic-oriented mapping functions that span a wide expression space. Furthermore, to quantitatively evaluate the emotional richness of robotic singing, we propose the Emotion Dynamic Range metric to measure the emotional breadth within the Valence-Arousal space, revealing that a broad emotional spectrum is crucial for appealing performances. Comprehensive experiments prove that our method achieves rich emotional expressions while maintaining lip-audio synchronization, significantly outperforming existing approaches.


翻译:为机器人面部赋予歌唱能力对于实现共情式人机交互至关重要。然而,现有的机器人面部驱动研究主要集中于对话或模仿静态表情,难以满足歌唱中连续情感表达与连贯性的高要求。为此,我们提出了一种新颖的、基于虚拟形象驱动的框架,以实现富有吸引力的机器人歌唱。我们首先利用嵌入丰富人类先验知识的肖像视频生成模型,合成生动的歌唱虚拟形象,为机器人提供可靠的表情与情感指导。随后,这些面部特征通过面向语义的映射函数被迁移到机器人上,该函数能够覆盖宽广的表情空间。此外,为了定量评估机器人歌唱的情感丰富度,我们提出了情感动态范围度量标准,用于衡量其在效价-唤醒度空间内的情感广度,揭示了宽广的情感谱对于产生吸引人的表演至关重要。综合实验证明,我们的方法在保持唇部-音频同步的同时,实现了丰富的情感表达,显著优于现有方法。

0
下载
关闭预览

相关内容

机器人(英语:Robot)包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人。在当代工业中,机器人指能自动运行任务的人造机器设备,用以取代或协助人类工作,一般会是机电设备,由计算机程序或是电子电路控制。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
24+阅读 · 2025年5月26日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
面向机器人系统的虚实迁移强化学习综述
专知会员服务
44+阅读 · 2024年2月8日
人形机器人行业深度:具身智能,迈向广阔蓝海市场
专知会员服务
51+阅读 · 2023年7月2日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
专知会员服务
16+阅读 · 2021年5月13日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
国家自然科学基金
14+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
14+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员