Recent advancements in 3D Gaussian Splatting (3DGS) have enabled photorealistic rendering of complex scenes, yet widespread adoption on mobile and Extended Reality (XR) devices is hindered by substantial computational and bandwidth requirements. While existing solutions often focus on model compression for client-side rendering, they still demand significant GPU power, limiting applicability on resource-constrained hardware. We propose TIGAS (Thin-client Interactive Gaussian Adaptive Streaming), a remote rendering framework offloading rasterization to a backend. To bypass the prohibitive latencies connected to fluctuating network conditions, TIGAS streams view-dependent 2D projections to a lightweight web client over QUIC, minimizing head-of-line (HoL) blocking. A dedicated ABR algorithm adapts rendering quality to fluctuating network conditions, maintaining motion-to-photon latency within strict 6DoF interactive constraints. Furthermore, we discuss the integration of an experimental WebGPU super-resolution pipeline to analyze the trade-offs between perceptual quality enhancements and thin-client processing bottlenecks. We extensively evaluate TIGAS across multi-continental environments using 14 3DGS models and real 6DoF EyeNavGS movement traces. Powered by a backend rendering frames in under 10 milliseconds, TIGAS maintains latency within interactive thresholds while achieving an average SSIM of 0.88, serving both as a robust testbed for 3DGS streaming research and a capable delivery system. The source code is available at: https://github.com/Rekenar/GaussianAdaptiveStreamer.


翻译:近期三维高斯泼溅(3DGS)技术的突破实现了复杂场景的光照真实渲染,但由于巨大的计算与带宽需求,该技术在移动设备及扩展现实(XR)设备上的广泛应用仍面临阻碍。现有方案虽多聚焦于客户端渲染的模型压缩技术,但依然需要显著的GPU算力支持,限制了其在资源受限硬件上的应用。本文提出TIGAS(瘦客户端交互式高斯自适应流媒体传输)远程渲染框架,将光栅化任务卸载至后端服务器。为规避网络状态波动导致的不可容忍延迟,TIGAS通过QUIC协议向轻量级Web客户端传输视角依赖性二维投影,最大限度降低队头阻塞(HoL)效应。专用自适应码率(ABR)算法可根据网络状态动态调整渲染质量,使运动至光子延迟严格满足六自由度(6DoF)交互约束。此外,我们探讨了实验性WebGPU超分辨率管线的集成方案,分析了感知质量增强与瘦客户端处理瓶颈之间的权衡关系。通过使用14个3DGS模型及真实6DoF眼动导航(EyeNavGS)运动轨迹,我们在跨洲际环境中对TIGAS进行了全面评估。得益于后端渲染帧耗时低于10毫秒的性能支撑,TIGAS将延迟控制在交互阈值之内,同时实现平均SSIM指标达0.88,既可作为3DGS流媒体研究的稳健测试平台,亦具备实用的传输系统能力。完整源代码已发布于:https://github.com/Rekenar/GaussianAdaptiveStreamer

0
下载
关闭预览

相关内容

综述|学习式3D表征最新进展与趋势
专知会员服务
7+阅读 · 6月5日
三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
17+阅读 · 2025年8月14日
【ICML2025】解决3D语言高斯溅射中的视角依赖语义
专知会员服务
8+阅读 · 2025年6月2日
机器人中的三维高斯溅射:综述
专知会员服务
29+阅读 · 2024年10月17日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
几种典型的虚实融合技术发展研究
专知会员服务
94+阅读 · 2023年12月17日
计算机视觉方向简介 | 多视角立体视觉MVS
计算机视觉life
15+阅读 · 2019年10月10日
立体匹配技术简介
计算机视觉life
28+阅读 · 2019年4月22日
tensorflow LSTM + CTC实现端到端OCR
机器学习研究会
26+阅读 · 2017年11月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员