Humanoid facial expression shadowing enables robots to realistically imitate human facial expressions in real time, which is critical for lifelike, facially expressive humanoid robots and affective human-robot interaction. Existing progress in humanoid facial expression imitation remains limited, often failing to achieve either real-time performance or realistic expressiveness due to offline video-based inference designs and insufficient ability to capture and transfer subtle expression details. To address these limitations, we present VividFace, a real-time and realistic facial expression shadowing system for humanoid robots. An optimized imitation framework X2CNet++ enhances expressiveness by fine-tuning the human-to-humanoid facial motion transfer module and introducing a feature-adaptation training strategy for better alignment across different image sources. Real-time shadowing is further enabled by a video-stream-compatible inference pipeline and a streamlined workflow based on asynchronous I/O for efficient communication across devices. VividFace produces vivid humanoid faces by mimicking human facial expressions within 0.05 seconds, while generalizing across diverse facial configurations. Extensive real-world demonstrations validate its practical utility. Videos are available at: https://lipzh5.github.io/VividFace/.


翻译:仿人机器人面部表情模仿使机器人能够实时逼真地模仿人类面部表情,这对于实现栩栩如生、具有丰富面部表情的仿人机器人及情感化人机交互至关重要。现有仿人机器人表情模仿技术仍存在局限,常因采用基于离线视频的推理设计及捕捉与传递细微表情细节能力不足,难以同时实现实时性能与逼真表现力。为突破这些限制,本文提出VividFace——一种面向仿人机器人的实时逼真面部表情模仿系统。优化的模仿框架X2CNet++通过微调人-仿人机器人面部运动传递模块,并引入特征自适应训练策略以提升跨图像源的对齐能力,从而增强表情表现力。系统通过兼容视频流的推理管道与基于异步I/O的简化工作流程实现跨设备高效通信,进而达成实时模仿。VividFace可在0.05秒内通过模仿人类面部表情生成生动的仿人机器人面部图像,并具备跨多样化面部构型的泛化能力。大量实际场景演示验证了其实际应用价值。演示视频详见:https://lipzh5.github.io/VividFace/。

0
下载
关闭预览

相关内容

人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
人形机器人发展与展望
专知会员服务
49+阅读 · 2023年9月6日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
CVPR2020 | 大规模人脸表情识别(附源代码)
计算机视觉战队
12+阅读 · 2020年10月7日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
SMP 2019 第三届中文人机对话技术评测顺利落幕
哈工大SCIR
12+阅读 · 2019年8月19日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
keras实战︱人脸表情分类与识别:人脸检测+情绪分类
数据挖掘入门与实战
21+阅读 · 2017年12月16日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关资讯
CVPR2020 | 大规模人脸表情识别(附源代码)
计算机视觉战队
12+阅读 · 2020年10月7日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
SMP 2019 第三届中文人机对话技术评测顺利落幕
哈工大SCIR
12+阅读 · 2019年8月19日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
keras实战︱人脸表情分类与识别:人脸检测+情绪分类
数据挖掘入门与实战
21+阅读 · 2017年12月16日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员