We present the first evaluation of 3D Gaussian Splatting methods on real fisheye imagery with fields of view above 180\textdegree{}. Our study evaluates Fisheye-GS \cite{liao2024fisheyegslightweightextensiblegaussian} and 3DGUT \cite{wu20253dgut} on indoor and outdoor scenes captured with 200\textdegree{} fisheye cameras, with the aim of assessing the practicality of wide-angle reconstruction under severe distortion. By comparing reconstructions at 200\textdegree{}, 160\textdegree{}, and 120\textdegree{} field-of-view, we show that both methods achieve their best results at 160\textdegree{}, which balances scene coverage with image quality, while distortion at 200\textdegree{} degrades performance. To address the common failure of Structure-from-Motion (SfM) initialization at such wide angles, we introduce a depth-based alternative using UniK3D (Universal Camera Monocular 3D Estimation) \cite{piccinelli2025unik3d}. This represents the first application of UniK3D to fisheye imagery beyond 200\textdegree{}, despite the model not being trained on such data. With the number of predicted points controlled to match SfM for fairness, UniK3D produces geometrically accurate reconstructions that rival or surpass SfM, even in challenging scenes with fog, glare, or open sky. These results demonstrate the feasibility of fisheye-based 3D Gaussian Splatting and provides a benchmark for future research on wide-angle reconstruction from sparse and distorted inputs.


翻译:本研究首次对真实鱼眼图像(视场角超过180°)上的3D高斯溅射方法进行评估。我们在室内外场景中使用200°鱼眼相机采集数据,对Fisheye-GS \cite{liao2024fisheyegslightweightextensiblegaussian}和3DGUT \cite{wu20253dgut}方法进行评测,旨在评估严重畸变条件下广角重建的实用性。通过比较200°、160°和120°视场角下的重建结果,我们发现两种方法均在160°时取得最佳性能,该视场角在场景覆盖范围与图像质量之间达到平衡,而200°时的畸变会导致性能下降。针对此类超广角条件下运动恢复结构(SfM)初始化常失效的问题,我们提出一种基于深度的替代方案,采用UniK3D(通用相机单目三维估计)\cite{piccinelli2025unik3d}。这是UniK3D首次应用于超过200°的鱼眼图像,尽管该模型未在此类数据上训练。通过控制预测点数量以匹配SfM进行公平比较,UniK3D生成的三维重建在几何精度上可与SfM媲美甚至更优,即使在雾霾、眩光或开阔天空等挑战性场景中亦表现稳健。这些结果证明了基于鱼眼图像的3D高斯溅射技术的可行性,并为未来从稀疏畸变输入进行广角重建的研究提供了基准。

0
下载
关闭预览

相关内容

三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
17+阅读 · 2025年8月14日
【ICML2025】解决3D语言高斯溅射中的视角依赖语义
专知会员服务
8+阅读 · 2025年6月2日
【CVPR2025】DropGaussian: 稀视角高斯溅射的结构正则化
专知会员服务
9+阅读 · 2025年4月2日
机器人中的三维高斯溅射:综述
专知会员服务
29+阅读 · 2024年10月17日
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
中国图象图形学报
10+阅读 · 2019年12月3日
代码解读 | VINS_Mono中的鱼眼相机模型
计算机视觉life
16+阅读 · 2019年9月10日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度相机原理揭秘--双目立体视觉
计算机视觉life
10+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
从采集到决策:美军视角下的战术情报范式重构
专知会员服务
4+阅读 · 今天2:42
《履带式无人地面战车技术发展现状》
专知会员服务
2+阅读 · 今天1:46
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
8+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
8+阅读 · 7月31日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员