We present Density-Sampled Gaussians (DeG), a novel 3D representation designed to bridge the gap between adaptive rendering primitives and scalable generative modeling. Unlike existing approaches that constrain 3D Gaussians to fixed voxel grids or arrays, DeG models Gaussian centers as samples from a learnable probability density function defined over an octree. This formulation provides a rigorous mathematical framework for adaptive density control: by jointly optimizing the spatial density and Gaussian attributes under rendering supervision, our model naturally concentrates primitives in regions of high geometric complexity. We achieve this via a new render loss contribution gradient that serves as a fully differentiable analogue to the discrete densification and pruning heuristics used in standard Gaussian Splatting. The resulting representation is highly flexible, supporting variable-resolution decoding from a single latent code by simply adjusting the sampling budget. To enable generative synthesis, we train a latent diffusion model on DeG. We identify a critical challenge in applying diffusion to unordered set-structured latents, which can significantly slow convergence, and propose VecSeq, a canonical re-indexing mechanism that anchors latent tokens to a deterministic 3D Sobol sequence. This transforms the ambiguous set-generation problem into a robust sequence modeling task. Extensive experiments demonstrate that our pipeline achieves state-of-the-art quality in single-image-to-3D generation, combining the structural adaptivity of unstructured primitives with the training stability of grid-based methods.


翻译:我们提出密度采样高斯体(DeG),这是一种新型三维表示,旨在弥合自适应渲染基元与可扩展生成建模之间的鸿沟。与将三维高斯体约束在固定体素网格或数组中的现有方法不同,DeG将高斯中心建模为从定义在八叉树上的可学习概率密度函数中采样的样本。这种表述为自适应密度控制提供了严格的数学框架:通过联合优化空间密度和高斯属性(在渲染监督下),我们的模型自然地将基元集中在几何复杂度高的区域。我们通过一种新的渲染损失贡献梯度实现这一点,该梯度充当标准高斯溅射中使用的离散致密化和剪枝启发式算法的完全可微分模拟。由此得到的表示高度灵活,仅通过调整采样预算即可从单个潜在码支持可变分辨率解码。为了实现生成式合成,我们在DeG上训练了一个潜在扩散模型。我们识别出将扩散应用于无序集结构潜在变量时的一个关键挑战(这会显著减慢收敛速度),并提出VecSeq,这是一种规范的重索引机制,将潜在令牌锚定到确定性的三维Sobol序列。这会将模糊的集生成问题转化为稳健的序列建模任务。大量实验表明,我们的流程在单图像到三维生成中实现了最先进的质量,结合了非结构化基元的结构自适应性以及基于网格方法的训练稳定性。

0
下载
关闭预览

相关内容

综述|学习式3D表征最新进展与趋势
专知会员服务
11+阅读 · 6月5日
三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
17+阅读 · 2025年8月14日
机器人中的三维高斯溅射:综述
专知会员服务
29+阅读 · 2024年10月17日
英国杜伦大学「深度生成建模」大综述论文,21页pdf
专知会员服务
49+阅读 · 2021年3月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《边缘计算关键技术分析及美军作战实践应用》
专知会员服务
0+阅读 · 今天14:08
边缘计算的军事应用
专知会员服务
1+阅读 · 今天13:50
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
4+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
10+阅读 · 8月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员