大型基于 Transformer 的模型在从稀疏输入视角生成具有良好泛化能力的新视角合成(NVS)方面取得了显著进展,这些模型能够在无需测试时优化的情况下生成新颖的视角。然而,它们仍然受限于公开可用场景数据集的多样性不足,导致大多数真实世界(in-the-wild)场景呈现分布外问题。为了解决这一局限,我们引入了由扩散模型生成的合成训练数据,从而提升了在未见领域中的泛化能力。虽然合成数据带来了可扩展性,但我们发现数据生成过程中引入的伪影成为影响重建质量的关键瓶颈。为此,我们在 Transformer 架构中提出了一种 token 解耦 过程,以增强特征分离并确保更有效的学习。这一改进不仅在重建质量上优于标准 Transformer,而且使得基于合成数据的可扩展训练成为可能。最终,我们的方法在数据内与跨数据集的评估中均优于现有模型,在多个基准上实现了最新的性能,同时显著降低了计算成本。

成为VIP会员查看完整内容
11

相关内容

【AAAI2025】用于高保真3D重建的多视图条件扩散模型
专知会员服务
19+阅读 · 2024年12月12日
【NeurIPS2024】用于时间序列预测的检索增强扩散模型
专知会员服务
24+阅读 · 2024年10月25日
【KDD2024】Hypformer:在双曲空间中探索高效的双曲变换器
【AAAI2024】基于扩散语言模型的文本引导分子生成
专知会员服务
29+阅读 · 2024年2月21日
【Cell】可扩展深度图神经网络的高性能材料性能预测
专知会员服务
18+阅读 · 2022年5月4日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
63+阅读 · 2021年4月21日
专知会员服务
36+阅读 · 2020年11月29日
专知会员服务
20+阅读 · 2020年3月29日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
500+阅读 · 2023年3月31日
Arxiv
69+阅读 · 2022年9月7日
Augmentation for small object detection
Arxiv
13+阅读 · 2019年2月19日
VIP会员
最新内容
美军MAVEN项目全面解析:算法战架构
专知会员服务
8+阅读 · 今天8:36
从俄乌战场看“马赛克战”(万字长文)
专知会员服务
6+阅读 · 今天8:19
最新“指挥控制”领域出版物合集(16份)
专知会员服务
13+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
19+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
4+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
5+阅读 · 4月12日
相关VIP内容
【AAAI2025】用于高保真3D重建的多视图条件扩散模型
专知会员服务
19+阅读 · 2024年12月12日
【NeurIPS2024】用于时间序列预测的检索增强扩散模型
专知会员服务
24+阅读 · 2024年10月25日
【KDD2024】Hypformer:在双曲空间中探索高效的双曲变换器
【AAAI2024】基于扩散语言模型的文本引导分子生成
专知会员服务
29+阅读 · 2024年2月21日
【Cell】可扩展深度图神经网络的高性能材料性能预测
专知会员服务
18+阅读 · 2022年5月4日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
63+阅读 · 2021年4月21日
专知会员服务
36+阅读 · 2020年11月29日
专知会员服务
20+阅读 · 2020年3月29日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
微信扫码咨询专知VIP会员