This paper introduces SENA (SEamlessly NAtural), a geometry-driven image stitching approach that prioritizes structural fidelity in challenging real-world scenes characterized by parallax and depth variation. Conventional image stitching relies on homographic alignment, but this rigid planar assumption often fails in dual-camera setups with significant scene depth, leading to distortions such as visible warps and spherical bulging. SENA addresses these fundamental limitations through three key contributions. First, we propose a hierarchical affine-based warping strategy, combining global affine initialization with local affine refinement and smooth free-form deformation. This design preserves local shape, parallelism, and aspect ratios, thereby avoiding the hallucinated structural distortions commonly introduced by homography-based models. Second, we introduce a geometry-driven adequate zone detection mechanism that identifies parallax-minimized regions directly from the disparity consistency of RANSAC-filtered feature correspondences, without relying on semantic segmentation. Third, building upon this adequate zone, we perform anchor-based seamline cutting and segmentation, enforcing a one-to-one geometric correspondence across image pairs by construction, which effectively eliminates ghosting, duplication, and smearing artifacts in the final panorama. Extensive experiments conducted on challenging datasets demonstrate that SENA achieves alignment accuracy comparable to leading homography-based methods, while significantly outperforming them in critical visual metrics such as shape preservation, texture integrity, and overall visual realism.


翻译:本文提出SENA(无缝自然)方法,一种几何驱动的图像拼接方法,在具有视差和深度变化的复杂真实场景中优先保持结构保真度。传统图像拼接依赖于单应性对齐,但这种刚性的平面假设在具有显著场景深度的双摄像头设置中往往失效,导致可见扭曲和球状膨胀等失真。SENA通过三个关键创新解决这些根本性局限。首先,我们提出基于层次化仿射的变形策略,将全局仿射初始化与局部仿射细化及平滑自由形变相结合。该设计能保持局部形状、平行性和纵横比,从而避免基于单应性模型常产生的虚假结构失真。其次,我们引入几何驱动的适切区域检测机制,直接从RANSAC过滤后的特征对应点的视差一致性中识别视差最小化区域,无需依赖语义分割。第三,基于该适切区域,我们执行锚点驱动的接缝切割与分割,通过构造强制实现图像对间的一对一几何对应,从而有效消除最终全景图中的重影、重复和模糊伪影。在具有挑战性的数据集上进行的大量实验表明,SENA在配准精度上达到与主流单应性方法相当的水平,同时在形状保持、纹理完整性和整体视觉真实感等关键视觉指标上显著优于现有方法。

0
下载
关闭预览

相关内容

图像拼接(image stitching)是指将两张或更多的有重叠部分的影像,拼接成一张全景图或是高分辨率影像的技术。图像拼接有两大步骤:图像配准和图像融合
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
14+阅读 · 2022年5月4日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员