Neural Radiance Fields (NeRFs) have emerged as a groundbreaking paradigm for representing 3D objects and scenes by encoding shape and appearance information into the weights of a neural network. Recent studies have demonstrated that these weights can be used as input for frameworks designed to address deep learning tasks; however, such frameworks require NeRFs to adhere to a specific, predefined architecture. In this paper, we introduce the first framework capable of processing NeRFs with diverse architectures and performing inference on architectures unseen at training time. We achieve this by training a Graph Meta-Network within an unsupervised representation learning framework, and show that a contrastive objective is conducive to obtaining an architecture-agnostic latent space. In experiments conducted across 13 NeRF architectures belonging to three families (MLPs, tri-planes, and, for the first time, hash tables), our approach demonstrates robust performance in classification, retrieval, and language tasks involving multiple architectures, even unseen at training time, while also matching or exceeding the results of existing frameworks limited to single architectures. Our code and data are available at https://cvlab-unibo.github.io/gmnerf.


翻译:神经辐射场(NeRF)作为一种突破性范式,通过将形状和外观信息编码到神经网络的权重中,实现了对三维物体与场景的表征。近期研究表明,这些权重可作为专门处理深度学习任务的框架的输入;然而,此类框架要求NeRF必须遵循特定预定义的架构。本文提出了首个能够处理多样化架构NeRF,并在训练时未见过的架构上进行推理的框架。我们通过在无监督表示学习框架中训练图元网络实现这一目标,并证明对比学习目标有助于获得与架构无关的潜在空间。在涵盖三大类别(MLP、三平面及首次引入的哈希表)共13种NeRF架构的实验中,我们的方法在涉及多种架构(包括训练时未见过的架构)的分类、检索和语言任务中展现出鲁棒性能,同时达到或超越了现有局限于单一架构框架的结果。我们的代码与数据公开于https://cvlab-unibo.github.io/gmnerf。

0
下载
关闭预览

相关内容

面向现实世界的神经辐射场:综述
专知会员服务
18+阅读 · 2025年1月23日
【ICML2024】神经 NeRF 压缩
专知会员服务
19+阅读 · 2024年6月15日
神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
神经辐射场: 过去、现在和未来
专知会员服务
35+阅读 · 2023年4月25日
【CVPR2023】学习神经双辐射场实时视图合成
专知会员服务
31+阅读 · 2023年4月23日
专知会员服务
74+阅读 · 2021年5月28日
专知会员服务
45+阅读 · 2020年9月3日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月7日
VIP会员
最新内容
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
0+阅读 · 6分钟前
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 34分钟前
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
美/以-伊战争:停火与后续情景与影响分析
专知会员服务
3+阅读 · 4月11日
相关VIP内容
面向现实世界的神经辐射场:综述
专知会员服务
18+阅读 · 2025年1月23日
【ICML2024】神经 NeRF 压缩
专知会员服务
19+阅读 · 2024年6月15日
神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
神经辐射场: 过去、现在和未来
专知会员服务
35+阅读 · 2023年4月25日
【CVPR2023】学习神经双辐射场实时视图合成
专知会员服务
31+阅读 · 2023年4月23日
专知会员服务
74+阅读 · 2021年5月28日
专知会员服务
45+阅读 · 2020年9月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员