Fast and efficient 3D reconstruction is essential for time-critical robotic applications such as tele-guidance and disaster response, where operators must rapidly analyze specific points of interest (POIs). Existing semantic Gaussian Splatting (GS) approaches optimize the entire scene uniformly, incurring substantial computational cost even when only a small subset of the scene is operationally relevant. We propose CoRe-GS, a coarse-to-refine GS framework that enables task-driven POI-focused optimization. Our method first produces a segmentation-ready GS representation using a lightweight late-stage semantic refinement. Subsequently, only Gaussians associated with the selected POI are further optimized, reducing unnecessary background computation. To mitigate segmentation-induced outliers (floaters) during selective refinement, we introduce a color-based filtering mechanism that removes inconsistent Gaussians without requiring mask rasterization. We evaluate robustness multiple datasets. On LERF-Mask, our segmentation-ready representation achieves competitive mIoU using tremendously fewer optimization steps. Across synthetic and real-world datasets (NeRDS360, SCRREAM, Tanks and Temples), CoRe-GS drastically reduces training time compared to full semantic GS while improving POI reconstruction quality and mitigating floaters. These results demonstrate that task-aware selective refinement enables faster and higher-quality scene reconstruction tailored to robotic operational needs.


翻译:快速高效的3D重建对于时间紧迫的机器人应用(如远程引导和灾难响应)至关重要,操作员必须快速分析特定的兴趣点(POI)。现有的语义高斯溅射(GS)方法对整个场景进行均匀优化,即使只有一小部分场景具有操作相关性,也会产生巨大的计算成本。我们提出了CoRe-GS,一种从粗到精的GS框架,能够实现任务驱动的、聚焦于POI的优化。我们的方法首先通过轻量级的后期语义精炼,生成一个可用于分割的GS表示。随后,仅对与所选POI相关的高斯分布进行进一步优化,从而减少不必要的背景计算。为了减轻选择性精炼过程中由分割引起的异常值(漂浮物),我们引入了一种基于颜色的过滤机制,无需掩码栅格化即可移除不一致的高斯分布。我们在多个数据集上评估了其鲁棒性。在LERF-Mask数据集上,我们的可分割表示以极少的优化步骤实现了具有竞争力的平均交并比(mIoU)。在合成和真实世界数据集(NeRDS360、SCRREAM、Tanks and Temples)上,与完整的语义GS相比,CoRe-GS大幅减少了训练时间,同时提高了POI的重建质量并减少了漂浮物。这些结果表明,任务感知的选择性精炼能够实现更快、更高质量的场景重建,以满足机器人的操作需求。

0
下载
关闭预览

相关内容

【ICML2025】解决3D语言高斯溅射中的视角依赖语义
专知会员服务
8+阅读 · 2025年6月2日
【CVPR2025】DropGaussian: 稀视角高斯溅射的结构正则化
专知会员服务
9+阅读 · 2025年4月2日
机器人中的三维高斯溅射:综述
专知会员服务
29+阅读 · 2024年10月17日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
用Attention玩转CV,一文总览自注意力语义分割进展
高翔:谈谈语义SLAM/地图
计算机视觉life
37+阅读 · 2019年3月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
1+阅读 · 39分钟前
软件定义多域战术网络:基础与未来方向(综述)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
美/以-伊战争:停火与后续情景与影响分析
专知会员服务
3+阅读 · 4月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员