A photorealistic and immersive human avatar experience demands capturing fine, person-specific details such as cloth and hair dynamics, subtle facial expressions, and characteristic motion patterns. Achieving this requires large, high-quality datasets, which often introduce ambiguities and spurious correlations when very similar poses correspond to different appearances. Models that fit these details during training can overfit and produce unstable, abrupt appearance changes for novel poses. We propose a 3D Gaussian Splatting avatar model with a spatial MLP backbone that is conditioned on both pose and an appearance latent. The latent is learned during training by an encoder, yielding a compact representation that improves reconstruction quality and helps disambiguate pose-driven renderings. At driving time, our predictor autoregressively infers the latent, producing temporally smooth appearance evolution and improved stability. Overall, our method delivers a robust and practical path to high-fidelity, stable avatar driving.


翻译:实现逼真且沉浸式的人体虚拟化身体验,需要捕捉衣物与头发动态、细微面部表情及特征性运动模式等个性化细节。这需要大规模高质量数据集,但数据中相似姿态对应不同外观的情况频繁出现,常引入歧义性和虚假相关性。若训练过程中直接拟合这些细节,模型可能过拟合,并在处理新姿态时产生不稳定的突变外观。我们提出一种基于3D高斯泼溅的虚拟化身模型,采用空间多层感知机(MLP)主干网络,同时以姿态和外观潜变量为条件。该潜变量通过编码器在训练过程中学习得到,形成紧凑表示,可提升重建质量并消除姿态驱动的渲染歧义。在驱动时,我们的预测器通过自回归方式推断该潜变量,产生时间平滑的外观演化并增强稳定性。总之,本方法为高质量、稳定的虚拟化身驱动提供了一条稳健且实用的路径。

0
下载
关闭预览

相关内容

面向具身智能与机器人仿真的三维生成:综述
专知会员服务
17+阅读 · 4月30日
具身智能中的心理世界建模:深度综述
专知会员服务
39+阅读 · 1月10日
多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
重磅!《具身智能发展报告(2024年)》发布,54页pdf
专知会员服务
92+阅读 · 2024年8月27日
多模态预训练模型简述
专知会员服务
115+阅读 · 2021年4月27日
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 人体姿态估计
计算机视觉life
28+阅读 · 2019年6月6日
人脸专集2 | 人脸关键点检测汇总(文末有相关文章链接)
计算机视觉战队
25+阅读 · 2019年4月4日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员