Cross-modal optical-SAR (Synthetic Aperture Radar) registration is a bottleneck for disaster-response via remote sensing, yet modern image matchers are developed and benchmarked almost exclusively on natural-image domains. We evaluate twenty-four pretrained matcher families--in a zero-shot setting with no fine-tuning or domain adaptation on satellite or SAR data--on SpaceNet9 and two additional cross-modal benchmarks under a deterministic protocol with tiled large-image inference, robust geometric filtering, and tie-point-grounded metrics. Our results reveal asymmetric transfer--matchers with explicit cross-modal training do not uniformly outperform those without it. While XoFTR (trained for visible-thermal matching) and RoMa achieve the lowest reported mean error at $3.0$ px on the labeled SpaceNet9 training scenes, RoMa achieves this without any cross-modal training, and MatchAnything-ELoFTR ($3.4$ px)--trained on synthetic cross-modal pairs--matches closely, suggesting (as a working hypothesis) that foundation-model features (DINOv2) may contribute to modality invariance that partially substitutes for explicit cross-modal supervision. 3D-reconstruction matchers (MASt3R, DUSt3R), which are not designed for traditional 2D image matching, are highly protocol-sensitive and remain fragile under default settings. Deployment protocol choices (geometry model, tile size, inlier gating) shift accuracy by up to $33\times$ for a single matcher, sometimes exceeding the effect of swapping matchers entirely within the evaluated sweep--affine geometry alone reduces mean error from $12.34$ to $9.74$ px. These findings inform both practical deployment of existing matchers and future matcher design for cross-modal satellite registration.


翻译:跨模态光学-SAR(合成孔径雷达)配准是遥感灾害响应的瓶颈,然而现代图像匹配器几乎完全在自然图像领域进行开发和基准测试。我们在确定性协议下,对24个预训练匹配器家族——在卫星或SAR数据上不进行微调或领域适应的零样本设置下——在SpaceNet9和两个额外的跨模态基准上进行了评估,该协议包含大图像分块推理、鲁棒几何滤波和基于连接点的度量标准。我们的结果揭示了非对称迁移:具有显式跨模态训练的匹配器并不统一优于未经训练的匹配器。虽然XoFTR(用于可见光-热红外匹配训练)和RoMa在标注的SpaceNet9训练场景上达到了3.0像素的最低报告平均误差,但RoMa未经过任何跨模态训练即实现此性能;而MatchAnything-ELoFTR(3.4像素)——在合成跨模态对上训练——与之接近,这表明(作为一个工作假设)基础模型特征(DINOv2)可能有助于实现模态不变性,部分替代显式跨模态监督。未设计用于传统二维图像匹配的三维重建匹配器(MASt3R,DUSt3R)对协议高度敏感,在默认设置下仍显脆弱。部署协议选择(几何模型、分块大小、内点门控)可使单一匹配器精度变化高达33倍,有时超过在评估范围内完全更换匹配器的效果——仅仿射几何就使平均误差从12.34像素降至9.74像素。这些发现为现有匹配器的实际部署以及未来面向跨模态卫星配准的匹配器设计提供了启示。

0
下载
关闭预览

相关内容

SAR干扰技术综述
专知会员服务
18+阅读 · 2024年9月26日
《无源合成孔径雷达发射器选择优化》美空军239页
专知会员服务
21+阅读 · 2024年8月4日
DeepReg:开源深度学习医学图像配准工具包
专知
35+阅读 · 2020年8月29日
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
关于GANs在医学图像领域应用的总结
人工智能前沿讲习班
31+阅读 · 2019年6月4日
AI如何帮助卫星遥感释放价值?
未来论坛
19+阅读 · 2018年8月8日
SAR成像原理及图像鉴赏
无人机
21+阅读 · 2017年8月14日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
马赛克战:俄乌战场透析
专知会员服务
3+阅读 · 今天4:12
《利用人工智能增强军事决策》
专知会员服务
0+阅读 · 今天4:09
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
1+阅读 · 今天4:02
为何指挥所生存能力要求范式转变
专知会员服务
0+阅读 · 今天3:54
打造“新蛛网”模式与高科技动员
专知会员服务
0+阅读 · 今天3:33
“蛛网”行动一周年:远程无人机战争
专知会员服务
0+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
5+阅读 · 6月9日
为初级军官战术训练设计生成式人工智能平台
专知会员服务
8+阅读 · 6月9日
《美军条令:作战伤员后送保障》
专知会员服务
6+阅读 · 6月9日
相关VIP内容
SAR干扰技术综述
专知会员服务
18+阅读 · 2024年9月26日
《无源合成孔径雷达发射器选择优化》美空军239页
专知会员服务
21+阅读 · 2024年8月4日
相关资讯
DeepReg:开源深度学习医学图像配准工具包
专知
35+阅读 · 2020年8月29日
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
关于GANs在医学图像领域应用的总结
人工智能前沿讲习班
31+阅读 · 2019年6月4日
AI如何帮助卫星遥感释放价值?
未来论坛
19+阅读 · 2018年8月8日
SAR成像原理及图像鉴赏
无人机
21+阅读 · 2017年8月14日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员