We propose a simple yet effective approach to enhance the performance of feed-forward 3D reconstruction models. Existing methods often struggle near depth discontinuities, where standard regression losses encourage spatial averaging and thus blur sharp boundaries. To address this issue, we introduce a mixture-of-experts formulation that handles uncertainty at depth boundaries by combining multiple smooth depth predictions. A softmax weighting head dynamically selects among these hypotheses on a per-pixel basis. By integrating our mixture model into a pre-trained state-of-the-art 3D model, we achieve a substantial reduction of boundary artifacts and gains in overall reconstruction accuracy. Notably, our approach is highly compute efficient, delivering generalizable improvements even when fine-tuned on a small subset of training data while incurring only negligible additional inference computation, suggesting a promising direction for lightweight and accurate 3D reconstruction.


翻译:我们提出了一种简单而有效的方法,用于提升前馈式三维重建模型的性能。现有方法通常在深度不连续区域附近表现不佳,因为标准的回归损失会鼓励空间平均,从而导致锐利边界模糊。为解决此问题,我们引入了一种混合专家框架,通过组合多个平滑深度预测来处理深度边界处的不确定性。一个softmax加权头以逐像素方式动态地在这些假设中进行选择。通过将我们的混合模型集成到预训练的最先进三维模型中,我们显著减少了边界伪影并提升了整体重建精度。值得注意的是,我们的方法计算效率极高,即使仅在小规模训练数据子集上进行微调也能带来泛化性改进,同时仅引入可忽略的额外推理计算开销,这为轻量且精确的三维重建指明了一个有前景的方向。

0
下载
关闭预览

相关内容

[ICML2024]消除偏差:微调基础模型以进行半监督学习
专知会员服务
18+阅读 · 2024年5月23日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员