We present VRGaussianAvatar, an integrated system that enables real-time full-body 3D Gaussian Splatting (3DGS) avatars in virtual reality using only head-mounted display (HMD) tracking signals. The system adopts a parallel pipeline with a VR Frontend and a GA Backend. The VR Frontend uses inverse kinematics to estimate full-body pose and streams the resulting pose along with stereo camera parameters to the backend. The GA Backend stereoscopically renders a 3DGS avatar reconstructed from a single image. To improve stereo rendering efficiency, we introduce Binocular Batching, which jointly processes left and right eye views in a single batched pass to reduce redundant computation and support high-resolution VR displays. We evaluate VRGaussianAvatar with quantitative performance tests and a within-subject user study against image- and video-based mesh avatar baselines. Results show that VRGaussianAvatar sustains interactive VR performance and yields higher perceived appearance similarity, embodiment, and plausibility. Project page and source code are available at https://vrgaussianavatar.github.io.


翻译:本文提出VRGaussianAvatar,这是一个集成系统,能够仅利用头戴式显示器(HMD)的追踪信号,在虚拟现实中实现实时全身3D高斯泼溅(3DGS)化身。该系统采用包含VR前端与GA后端的并行处理流水线。VR前端通过逆运动学估算全身姿态,并将生成的姿态数据与立体相机参数流式传输至后端。GA后端对从单张图像重建的3DGS化身进行立体渲染。为提升立体渲染效率,我们引入了双目批处理技术,该技术通过单次批处理联合处理左右眼视图,以减少冗余计算并支持高分辨率VR显示。我们通过定量性能测试及针对图像与视频基网格化身基线的受试者内用户研究对VRGaussianAvatar进行评估。结果表明,VRGaussianAvatar能够维持交互式VR性能,并在感知外观相似性、具身感及合理性方面获得更高评价。项目页面与源代码发布于https://vrgaussianavatar.github.io。

0
下载
关闭预览

相关内容

三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
15+阅读 · 2025年8月14日
机器人中的三维高斯溅射:综述
专知会员服务
28+阅读 · 2024年10月17日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
关于GANs在医学图像领域应用的总结
计算机视觉life
13+阅读 · 2019年7月25日
虚拟kitti数据集
CreateAMind
12+阅读 · 2017年10月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
15+阅读 · 2025年8月14日
机器人中的三维高斯溅射:综述
专知会员服务
28+阅读 · 2024年10月17日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员