Earth observation applications increasingly rely on data from multiple sensors, including optical, radar, elevation, and land-cover products. Relationships between these modalities are fundamental for data integration but are inherently non-injective: identical conditioning information can correspond to multiple physically plausible observations. Thus, such conditional mappings should be parametrised as data distributions. As a result, deterministic models tend to collapse toward conditional means and fail to represent the uncertainty and variability required for tasks such as data completion and cross-sensor translation. We introduce COP-GEN, a multimodal latent diffusion transformer that models the joint distribution of heterogeneous Earth Observation modalities at their native spatial resolutions. By parameterising cross-modal mappings as conditional distributions, COP-GEN enables flexible any-to-any conditional generation, including zero-shot modality translation, spectral band infilling, and generation under partial or missing inputs, without task-specific retraining. Experiments on a large-scale global multimodal dataset show that COP-GEN generates diverse yet physically consistent realisations while maintaining strong peak fidelity across optical, radar, and elevation modalities. Qualitative and quantitative analyses demonstrate that the model captures meaningful cross-modal structure and systematically adapts its output uncertainty as conditioning information increases. These results highlight the practical importance of stochastic generative modeling for Earth observation and motivate evaluation protocols that move beyond single-reference, pointwise metrics. Website: https:// miquel-espinosa.github.io/cop-gen


翻译:地球观测应用日益依赖于多传感器数据,包括光学、雷达、高程及土地覆盖产品。这些模态间的关联性是数据融合的基础,但其本质是非单射的:相同的条件信息可能对应多个物理上合理的观测结果。因此,此类条件映射应参数化为数据分布。确定性模型倾向于坍缩至条件均值,无法满足数据补全与跨传感器转换等任务所需的不确定性与变异性表征需求。本文提出COP-GEN——一种多模态潜在扩散Transformer,能够在原生空间分辨率下对异构地球观测模态的联合分布进行建模。通过将跨模态映射参数化为条件分布,COP-GEN实现了灵活的任意模态间条件生成,包括零样本模态转换、光谱波段填充以及部分/缺失输入条件下的生成,且无需针对特定任务进行重新训练。在大规模全球多模态数据集上的实验表明,COP-GEN能生成多样化且物理一致的实现结果,同时在光学、雷达与高程模态上保持显著的峰值保真度。定性与定量分析证明,该模型能捕捉有意义的跨模态结构,并随着条件信息的增加系统性地调整输出不确定性。这些结果凸显了随机生成建模在地球观测领域的实用价值,并推动了超越单参考点态度量的评估范式发展。项目网站:https://miquel-espinosa.github.io/cop-gen

0
下载
关闭预览

相关内容

《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
多模态遥感图像配准方法研究综述
专知会员服务
19+阅读 · 2024年7月20日
重磅!《地球大数据白皮书(2023年)》74页pdf
专知会员服务
60+阅读 · 2023年10月10日
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
302+阅读 · 2020年6月16日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
《人工智能赋能电磁战》(报告)
专知会员服务
2+阅读 · 4月17日
【CMU博士论文】迈向可扩展的开放世界三维感知
前馈式三维场景建模
专知会员服务
1+阅读 · 4月17日
(译文)认知战:以士兵为目标,塑造战略
专知会员服务
3+阅读 · 4月17日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员