Unsupervised generation of high-quality multi-view-consistent images and 3D shapes using only collections of single-view 2D photographs has been a long-standing challenge. Existing 3D GANs are either compute-intensive or make approximations that are not 3D-consistent; the former limits quality and resolution of the generated images and the latter adversely affects multi-view consistency and shape quality. In this work, we improve the computational efficiency and image quality of 3D GANs without overly relying on these approximations. For this purpose, we introduce an expressive hybrid explicit-implicit network architecture that, together with other design choices, synthesizes not only high-resolution multi-view-consistent images in real time but also produces high-quality 3D geometry. By decoupling feature generation and neural rendering, our framework is able to leverage state-of-the-art 2D CNN generators, such as StyleGAN2, and inherit their efficiency and expressiveness. We demonstrate state-of-the-art 3D-aware synthesis with FFHQ and AFHQ Cats, among other experiments.


翻译:使用仅收集单视 2D 照片的高质量多视相容图像和 3D 形状的未经监督生成的高质量多视相容图像和 3D 形状是一个长期的挑战。 现有的 3D GAN 要么计算密集,要么制作不兼容3D 的近似; 前者限制生成图像的质量和分辨率,后者对多视相容和形状质量产生不利影响。 在这项工作中, 我们提高了 3D GAN 的计算效率和图像质量, 而不过度依赖这些近相。 为此, 我们引入了一个表达式混合的、 明确和隐含的网络结构, 与其他设计选择一起, 实时合成不仅高分辨率多视相容的图像, 并且生成高质量的 3D 几何。 通过分离地貌生成和内嵌, 我们的框架能够利用像 StyleGAN2 这样的2 CNN 状态的2 D CNN 生成器, 并继承其效率和清晰度。 我们展示了与FFHQ 和 AFHQ Cats 等最新3D- 3D-awa 合成。

0
下载
关闭预览

相关内容

【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
12+阅读 · 2021年10月28日
已删除
将门创投
6+阅读 · 2019年6月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年2月17日
Generative Adversarial Networks: A Survey and Taxonomy
Arxiv
8+阅读 · 2019年2月15日
Arxiv
8+阅读 · 2018年5月21日
Arxiv
5+阅读 · 2018年5月21日
VIP会员
最新内容
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
1+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
3+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
4+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
12+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
9+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
4+阅读 · 4月24日
相关VIP内容
【NeurIPS2021】NeRV:视频的神经表示
专知会员服务
12+阅读 · 2021年10月28日
相关资讯
已删除
将门创投
6+阅读 · 2019年6月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员