We introduce PoreTrack3D, the first benchmark for dynamic 3D Gaussian splatting in pore-scale, non-rigid 3D facial trajectory tracking. It contains over 440,000 facial trajectories in total, among which more than 52,000 are longer than 10 frames, including 68 manually reviewed trajectories that span the entire 150 frames. To the best of our knowledge, PoreTrack3D is the first benchmark dataset to capture both traditional facial landmarks and pore-scale keypoints trajectory, advancing the study of fine-grained facial expressions through the analysis of subtle skin-surface motion. We systematically evaluate state-of-the-art dynamic 3D Gaussian splatting methods on PoreTrack3D, establishing the first performance baseline in this domain. Overall, the pipeline developed for this benchmark dataset's creation establishes a new framework for high-fidelity facial motion capture and dynamic 3D reconstruction. Our dataset are publicly available at: https://github.com/JHXion9/PoreTrack3D


翻译:我们提出了PoreTrack3D,这是首个针对毛孔尺度非刚性三维面部轨迹跟踪的动态3D高斯泼溅基准。该数据集共包含超过44万条面部轨迹,其中超过5.2万条轨迹长度超过10帧,并包含68条经人工审核、贯穿全部150帧的完整轨迹。据我们所知,PoreTrack3D是首个同时捕获传统面部标志点与毛孔尺度关键点轨迹的基准数据集,通过分析皮肤表面的细微运动,推动了细粒度面部表情研究的发展。我们在PoreTrack3D上系统评估了当前最先进的动态3D高斯泼溅方法,建立了该领域的首个性能基线。总体而言,为创建此基准数据集而开发的流程,为高保真面部运动捕捉与动态三维重建建立了新框架。我们的数据集已公开提供于:https://github.com/JHXion9/PoreTrack3D

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
iOS如何区分App和SDK内部crash
CocoaChina
11+阅读 · 2019年4月17日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关资讯
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
iOS如何区分App和SDK内部crash
CocoaChina
11+阅读 · 2019年4月17日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员