We observe that Gaussians exhibit distinct roles and characteristics analogous to traditional artistic techniques -- like how artists first sketch outlines before filling in broader areas with color, some Gaussians capture high-frequency features such as edges and contours, while others represent broader, smoother regions analogous to brush strokes that add volume and depth. Based on this observation, we propose a hybrid representation that categorizes Gaussians into (i) Sketch Gaussians, which represent high-frequency, boundary-defining features, and (ii) Patch Gaussians, which cover low-frequency, smooth regions. This semantic separation naturally enables layered progressive streaming, where the compact Sketch Gaussians establish the structural skeleton before Patch Gaussians incrementally refine volumetric detail. In this work, we extend our previous method to arbitrary 3D scenes by proposing a novel hierarchical adaptive categorization framework that operates directly on the 3DGS representation. Our approach employs multi-criteria density-based clustering, combined with adaptive quality-driven refinement. This method eliminates dependency on external 3D line primitives while ensuring optimal parametric encoding effectiveness. Our comprehensive evaluation across diverse scenes, including both man-made and natural environments, demonstrates that our method achieves up to 1.74 dB improvement in PSNR, 6.7% in SSIM, and 41.4% in LPIPS at equivalent model sizes compared to uniform pruning baselines. For indoor scenes, our method can maintain visual quality with only 0.5\% of the original model size. This structure-aware representation enables efficient storage, adaptive streaming, and rendering of high-fidelity 3D content across bandwidth-constrained networks and resource-limited devices.


翻译:我们观察到,高斯函数展现出与传统艺术技法类似的不同角色和特性——正如艺术家先勾勒轮廓再用色彩填充大面积区域,一些高斯函数捕获边缘和轮廓等高频特征,而另一些则代表更广阔、平滑的区域,类似于增加体积感和深度的笔触。基于这一观察,我们提出一种混合表示方法,将高斯函数分类为:(i) 表示高频、边界定义特征的素描高斯函数,以及(ii) 覆盖低频、平滑区域的补丁高斯函数。这种语义分离自然地实现了分层渐进式流传输,其中紧凑的素描高斯函数先建立结构骨架,随后补丁高斯函数逐步细化体积细节。在本工作中,我们通过提出一种直接在3DGS表示上运行的新型分层自适应分类框架,将先前方法扩展至任意三维场景。我们的方法采用基于多准则密度的聚类,并结合自适应质量驱动的优化。该方法消除了对外部三维线基元的依赖,同时确保了最优的参数编码效率。我们在多样化场景(包括人造环境和自然环境)上的综合评估表明,在同等模型大小下,与均匀剪枝基线相比,我们的方法在PSNR上实现了高达1.74 dB的提升,在SSIM上提升6.7%,在LPIPS上提升41.4%。对于室内场景,我们的方法仅需原始模型大小的0.5%即可保持视觉质量。这种结构感知表示使得高保真三维内容能够在带宽受限的网络和资源有限的设备上实现高效存储、自适应流传输与渲染。

0
下载
关闭预览

相关内容

【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
35+阅读 · 2020年7月24日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
解读 | 得见的高斯过程
机器学习算法与Python学习
14+阅读 · 2019年2月13日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
35+阅读 · 2020年7月24日
相关基金
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员