The view inconsistency problem in score-distilling text-to-3D generation, also known as the Janus problem, arises from the intrinsic bias of 2D diffusion models, which leads to the unrealistic generation of 3D objects. In this work, we explore score-distilling text-to-3D generation and identify the main causes of the Janus problem. Based on these findings, we propose two approaches to debias the score-distillation frameworks for robust text-to-3D generation. Our first approach, called score debiasing, involves gradually increasing the truncation value for the score estimated by 2D diffusion models throughout the optimization process. Our second approach, called prompt debiasing, identifies conflicting words between user prompts and view prompts utilizing a language model and adjusts the discrepancy between view prompts and object-space camera poses. Our experimental results show that our methods improve realism by significantly reducing artifacts and achieve a good trade-off between faithfulness to the 2D diffusion models and 3D consistency with little overhead.


翻译:得分蒸馏式文本到3D生成中的视角不一致问题(亦称Janus问题)源于二维扩散模型的内在偏差,导致3D物体的生成缺乏真实性。本研究深入探究得分蒸馏式文本到3D生成机制,揭示了Janus问题的主要成因。基于这些发现,我们提出两种针对得分蒸馏框架的去偏方法以实现稳健的文本到3D生成。第一种方法称为评分去偏,通过在优化过程中逐步增大二维扩散模型估计得分的截断值。第二种方法称为提示去偏,利用语言模型识别用户提示与视角提示之间的冲突词,并调整视角提示与物体空间相机位姿之间的差异。实验结果表明,我们的方法通过显著减少伪影提升了生成真实感,并在忠实于二维扩散模型与保持3D一致性之间实现了良好权衡,且计算开销极低。

0
下载
关闭预览

相关内容

【ICML2023】通过离散扩散建模实现高效和度引导的图生成
【AAAI2023】用于复杂场景图像合成的特征金字塔扩散模型
专知会员服务
49+阅读 · 2021年4月24日
【论文推荐】小样本视频合成,Few-shot Video-to-Video Synthesis
专知会员服务
24+阅读 · 2019年12月15日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
浅聊对比学习(Contrastive Learning)
极市平台
3+阅读 · 2022年7月26日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
【泡泡一分钟】学习紧密的几何特征(ICCV2017-17)
泡泡机器人SLAM
20+阅读 · 2018年5月8日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年5月15日
Arxiv
15+阅读 · 2022年10月27日
Arxiv
126+阅读 · 2020年9月6日
VIP会员
最新内容
乌克兰战场背后的新武器
专知会员服务
4+阅读 · 6月12日
基于博弈论的陆军人机协同(长文报告)
专知会员服务
10+阅读 · 6月12日
美国陆军航空兵:以愿景引领转型
专知会员服务
6+阅读 · 6月12日
《多域战场上反制小型无人机系统》150页
专知会员服务
16+阅读 · 6月11日
战场人工智能:增强陆地作战能力的发现与要求
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员