Feature lifting has emerged as a crucial component in 3D scene understanding, enabling the attachment of rich image feature descriptors (e.g., DINO, CLIP) onto splat-based 3D representations. The core challenge lies in optimally assigning rich general attributes to 3D primitives while addressing the inconsistency issues from multi-view images. We present a unified, kernel- and feature-agnostic formulation of the feature lifting problem as a sparse linear inverse problem, which can be solved efficiently in closed form. Our approach admits a provable upper bound on the global optimal error under convex losses for delivering high quality lifted features. To address inconsistencies and noise in multi-view observations, we introduce two complementary regularization strategies to stabilize the solution and enhance semantic fidelity. Tikhonov Guidance enforces numerical stability through soft diagonal dominance, while Post-Lifting Aggregation filters noisy inputs via feature clustering. Extensive experiments demonstrate that our approach achieves state-of-the-art performance on open-vocabulary 3D segmentation benchmarks, outperforming training-based, grouping-based, and heuristic-forward baselines while producing lifted features in minutes. Our \textbf{code} is available in the \href{https://github.com/saliteta/splat-distiller/tree/main}{\textcolor{blue}{GitHub}}. We provide additional \href{https://splat-distiller.pages.dev/}{\textcolor{blue}{website}} for more visualization, as well as the \href{https://www.youtube.com/watch?v=CH-G5hbvArM}{\textcolor{blue}{video}}.


翻译:特征提升已成为三维场景理解中的关键组成部分,它使得丰富的图像特征描述符(例如DINO、CLIP)能够附着于基于Splat的三维表示之上。其核心挑战在于如何将丰富的通用属性最优地分配给三维基元,同时解决多视角图像带来的不一致性问题。我们提出了一种统一的、与内核及特征无关的特征提升问题表述,将其构建为一个稀疏线性逆问题,该问题可通过闭式解高效求解。我们的方法在凸损失下,为交付高质量提升特征提供了可证明的全局最优误差上界。为了应对多视角观测中的不一致性和噪声,我们引入了两种互补的正则化策略以稳定解并增强语义保真度。Tikhonov引导通过软对角占优来强制数值稳定性,而后提升聚合则通过特征聚类来过滤噪声输入。大量实验表明,我们的方法在开放词汇三维分割基准测试中达到了最先进的性能,优于基于训练、基于分组和启发式前向的基线方法,同时能在数分钟内生成提升特征。我们的**代码**可在\href{https://github.com/saliteta/splat-distiller/tree/main}{\textcolor{blue}{GitHub}}获取。我们还提供了额外的\href{https://splat-distiller.pages.dev/}{\textcolor{blue}{网站}}以获取更多可视化内容,以及\href{https://www.youtube.com/watch?v=CH-G5hbvArM}{\textcolor{blue}{视频}}。

0
下载
关闭预览

相关内容

推荐算法中的特征工程
专知会员服务
40+阅读 · 2022年9月9日
【干货书】机器学习特征工程,217页pdf
专知会员服务
128+阅读 · 2021年2月6日
一文看懂常用特征工程方法
AI研习社
17+阅读 · 2018年5月2日
文本识别 OCR 浅析:特征篇
开源中国
16+阅读 · 2018年1月6日
特征工程的特征理解(一)
机器学习研究会
10+阅读 · 2017年10月23日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月16日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员