Implicit Neural Representations (INRs) have recently exhibited immense potential in the field of scientific visualization for both data generation and visualization tasks. However, these representations often consist of large multi-layer perceptrons (MLPs), necessitating millions of operations for a single forward pass, consequently hindering interactive visual exploration. While reducing the size of the MLPs and employing efficient parametric encoding schemes can alleviate this issue, it compromises generalizability for unseen parameters, rendering it unsuitable for tasks such as temporal super-resolution. In this paper, we introduce HyperINR, a novel hypernetwork architecture capable of directly predicting the weights for a compact INR. By harnessing an ensemble of multiresolution hash encoding units in unison, the resulting INR attains state-of-the-art inference performance (up to 100x higher inference bandwidth) and can support interactive photo-realistic volume visualization. Additionally, by incorporating knowledge distillation, exceptional data and visualization generation quality is achieved, making our method valuable for real-time parameter exploration. We validate the effectiveness of the HyperINR architecture through a comprehensive ablation study. We showcase the versatility of HyperINR across three distinct scientific domains: novel view synthesis, temporal super-resolution of volume data, and volume rendering with dynamic global shadows. By simultaneously achieving efficiency and generalizability, HyperINR paves the way for applying INR in a wider array of scientific visualization applications.


翻译:隐式神经表示(INR)在科学可视化领域的数据生成与可视化任务中展现出巨大潜力。然而,这些表示通常由大型多层感知器(MLP)构成,单次前向传播需执行数百万次运算,从而阻碍了交互式视觉探索。尽管缩小MLP规模并采用高效参数化编码方案可缓解此问题,但这会牺牲对未见参数的泛化能力,使其不适用于时间超分辨率等任务。本文提出HyperINR——一种新型超网络架构,可直接预测紧凑型INR的权重。通过协同利用多分辨率哈希编码单元集成,所得INR实现了业界领先的推理性能(推理带宽提升高达100倍),并支持交互式照片级真实感体数据可视化。此外,结合知识蒸馏后,该方法在数据与可视化生成质量上表现卓越,为实时参数探索提供了有力支撑。我们通过全面的消融研究验证了HyperINR架构的有效性,并展示了其在三个不同科学领域的通用性:新视角合成、体数据时间超分辨率,以及含动态全局阴影的体绘制。通过同时实现效率与泛化能力,HyperINR为INR在更广泛的科学可视化应用中开辟了道路。

0
下载
关闭预览

相关内容

【伯克利Alvin Wan博士论文】高效设计深度神经网络
专知会员服务
61+阅读 · 2022年5月21日
专知会员服务
21+阅读 · 2021年8月17日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
专知会员服务
54+阅读 · 2019年12月22日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Learning Implicit Fields for Generative Shape Modeling
Arxiv
11+阅读 · 2018年12月6日
VIP会员
最新内容
《通往人工通用智能之路上的均衡策略》
专知会员服务
4+阅读 · 6月3日
《Palantir的科技生态系统》
专知会员服务
14+阅读 · 6月2日
《反无人机系统传感器融合》90页报告
专知会员服务
16+阅读 · 6月2日
运用人工智能与卫星通信驱散“战争迷雾”
专知会员服务
8+阅读 · 6月2日
相关VIP内容
【伯克利Alvin Wan博士论文】高效设计深度神经网络
专知会员服务
61+阅读 · 2022年5月21日
专知会员服务
21+阅读 · 2021年8月17日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
专知会员服务
54+阅读 · 2019年12月22日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员