We present Instant Neural Radiance Fields Stylization, a novel approach for multi-view image stylization for the 3D scene. Our approach models a neural radiance field based on neural graphics primitives, which use a hash table-based position encoder for position embedding. We split the position encoder into two parts, the content and style sub-branches, and train the network for normal novel view image synthesis with the content and style targets. In the inference stage, we execute AdaIN to the output features of the position encoder, with content and style voxel grid features as reference. With the adjusted features, the stylization of novel view images could be obtained. Our method extends the style target from style images to image sets of scenes and does not require additional network training for stylization. Given a set of images of 3D scenes and a style target(a style image or another set of 3D scenes), our method can generate stylized novel views with a consistent appearance at various view angles in less than 10 minutes on modern GPU hardware. Extensive experimental results demonstrate the validity and superiority of our method.


翻译:我们提出了一种名为即时神经辐射场风格化的新颖方法,用于三维场景的多视角图像风格化。该方法基于神经图形基元构建神经辐射场,并采用哈希表式位置编码器进行位置嵌入。我们将位置编码器分为内容与风格两个子分支,利用内容和风格目标训练网络,实现标准的新视角图像合成。在推理阶段,我们以内容和风格体素网格特征为参考,对位置编码器的输出特征执行自适应实例归一化(AdaIN)。通过调整后的特征,即可获得新视角图像的风格化效果。本方法将风格目标从风格图像扩展至场景图像集,且无需针对风格化进行额外网络训练。给定一组三维场景图像与一个风格目标(风格图像或另一三维场景集),我们的方法能在现代GPU硬件上于10分钟内生成具有一致外观的多视角风格化新视图。大量实验结果表明了本方法的有效性与优越性。

0
下载
关闭预览

相关内容

【AAAI2022】基于渐进式增强学习的人脸伪造图像检测
专知会员服务
22+阅读 · 2022年1月19日
专知会员服务
74+阅读 · 2021年5月28日
专知会员服务
16+阅读 · 2021年5月13日
CVPR 2020 最佳论文与最佳学生论文!
专知会员服务
36+阅读 · 2020年6月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
NVIDIA视频合成有多「骚」,看看蒙娜丽莎你就知道了
机器学习算法与Python学习
17+阅读 · 2019年10月28日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【泡泡一分钟】Matterport3D: 从室内RGBD数据集中训练 (3dv-22)
泡泡机器人SLAM
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
15+阅读 · 2022年10月27日
Deformable Style Transfer
Arxiv
14+阅读 · 2020年3月24日
Arxiv
12+阅读 · 2019年1月24日
VIP会员
最新内容
《最强大的军事网状网络》
专知会员服务
0+阅读 · 今天14:29
《预测陆军征兵任务分配》110页
专知会员服务
1+阅读 · 今天14:21
分层反无人机系统发展新趋势
专知会员服务
9+阅读 · 9月3日
何为协作武器?
专知会员服务
10+阅读 · 9月1日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员