We present VRGaussianAvatar, an integrated system that enables real-time full-body 3D Gaussian Splatting (3DGS) avatars in virtual reality using only head-mounted display (HMD) tracking signals. The system adopts a parallel pipeline with a VR Frontend and a GA Backend. The VR Frontend uses inverse kinematics to estimate full-body pose and streams the resulting pose along with stereo camera parameters to the backend. The GA Backend stereoscopically renders a 3DGS avatar reconstructed from a single image. To improve stereo rendering efficiency, we introduce Binocular Batching, which jointly processes left and right eye views in a single batched pass to reduce redundant computation and support high-resolution VR displays. We evaluate VRGaussianAvatar with quantitative performance tests and a within-subject user study against image- and video-based mesh avatar baselines. Results show that VRGaussianAvatar sustains interactive VR performance and yields higher perceived appearance similarity, embodiment, and plausibility. Project page and source code are available at https://vrgaussianavatar.github.io.


翻译:我们提出VRGaussianAvatar,一种集成系统,仅利用头戴式显示器(HMD)追踪信号即可在虚拟现实中实现实时的全身三维高斯泼溅(3DGS)化身。该系统采用包含VR前端和GA后端的并行流水线。VR前端通过逆运动学估计全身姿态,并将所得姿态与立体相机参数一同传输至后端。GA后端以立体方式渲染从单张图像重建的3DGS化身。为提升立体渲染效率,我们引入双眼批处理技术,该技术在单次批处理中联合处理左右眼视图,以减少冗余计算并支持高分辨率VR显示。我们通过量化性能测试和受试者内用户研究,将VRGaussianAvatar与基于图像和视频的网格化身基线进行对比评估。结果表明,VRGaussianAvatar能维持交互式VR性能,并在外观相似性、具身感和可信度方面获得更高评分。项目页面和源代码见https://vrgaussianavatar.github.io。

0
下载
关闭预览

相关内容

综述|学习式3D表征最新进展与趋势
专知会员服务
11+阅读 · 6月5日
三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
17+阅读 · 2025年8月14日
机器人中的三维高斯溅射:综述
专知会员服务
29+阅读 · 2024年10月17日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
虚拟kitti数据集
CreateAMind
12+阅读 · 2017年10月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
博士论文 | 大动作空间中的在线与离线策略学习
专知会员服务
0+阅读 · 5分钟前
综述 | Autonomous Research Agents:AI 科学家与验证缺口
《多域冲突比较支持模型》60页
专知会员服务
9+阅读 · 8月7日
面向2027年及未来的海军情报改革
专知会员服务
6+阅读 · 8月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员