Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.


翻译:生成模型在三维视觉领域日益广泛地用于合成新形状,但其生成过程是否依赖于对训练形状的记忆仍不明确。理解其记忆效应有助于防止训练数据泄露并提升生成结果的多样性。本文设计了一个评估框架来量化三维生成模型中的记忆效应,并研究了不同数据与建模设计对记忆的影响。我们首先应用该框架量化了现有方法中的记忆效应。随后,通过基于潜在向量集扩散模型的对照实验,我们发现:在数据层面,记忆效应取决于数据模态,并随数据多样性和更细粒度的条件控制而增强;在建模层面,记忆效应在中等引导强度下达到峰值,并可通过延长向量集长度和简单的旋转数据增强来缓解。综合而言,我们的框架与分析提供了对三维生成模型记忆效应的实证理解,并提出了一系列在保持生成质量的同时降低记忆效应的简单而有效的策略。代码发布于 https://github.com/zlab-princeton/3d_mem。

0
下载
关闭预览

相关内容

3D形状生成:综述
专知会员服务
17+阅读 · 2025年7月7日
三维场景生成:综述
专知会员服务
21+阅读 · 2025年5月9日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
【ETHZ博士论文】二维和三维生成模型在现实世界约束下
专知会员服务
17+阅读 · 2024年9月25日
【ETHZ博士论文】真实世界约束下的2D和3D生成模型
专知会员服务
25+阅读 · 2024年9月2日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
3D形状生成:综述
专知会员服务
17+阅读 · 2025年7月7日
三维场景生成:综述
专知会员服务
21+阅读 · 2025年5月9日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
【ETHZ博士论文】二维和三维生成模型在现实世界约束下
专知会员服务
17+阅读 · 2024年9月25日
【ETHZ博士论文】真实世界约束下的2D和3D生成模型
专知会员服务
25+阅读 · 2024年9月2日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员