Geospatial foundation models (GFMs) have been proposed as generalizable backbones for disaster response, land-cover mapping, food-security monitoring, and other high-stakes Earth-observation tasks. Yet the published work about these models does not give reviewers or users enough information to tell which model fits a given task. We argue that nobody knows what the current state of the art is in geospatial foundation models. The methods may be useful, but the GFM literature does not standardize evaluations, training and testing protocols, released weights, or pretraining controls well enough for anyone to compare or rank them. In a 152-paper audit, we find 46 cross-paper disagreements of at least 10 points for the same model, benchmark, and protocol; 94/126 papers with extractable pretraining data use a configuration no other paper uses; and 39% of GFM papers release no model weights. This lack of community standards can be solved. We propose six concrete expectations: named-license weight release, shared core evaluations, copied-versus-rerun baseline annotations, variance reporting, one shared evaluation harness, and data-vs-architecture-vs-algorithm controls. These gaps are a coordination failure, not a fault of any individual lab; the authors of this paper, like many others in the GFM community, have contributed to them. Rather than just critiquing the community, we aim to provide concrete steps toward a shared understanding of how to innovate GFMs.


翻译:地理空间基础模型(GFMs)被提出作为灾害响应、土地覆盖制图、粮食安全监测及其他高风险地球观测任务中的通用骨干网络。然而,已发表的关于这些模型的研究并未向审稿人或使用者提供足够信息来判定何种模型适用于特定任务。我们认为,目前无人知晓地理空间基础模型领域的最新技术水平。这些方法或许具有实用价值,但GFM文献在评估标准化、训练与测试协议、权重发布机制及预训练控制方面缺乏统一规范,致使任何研究者都无法对模型进行有效比较或排序。在涵盖152篇论文的系统审计中,我们发现在相同模型、基准与协议条件下存在46项跨论文分歧(指标差异至少10个百分点);在可提取预训练数据的126篇论文中,94篇采用其他文献未曾使用的独特配置;且39%的GFM论文未发布任何模型权重。此类社区标准缺失问题有望得到解决。我们提出六项具体规范:具有指定许可证的权重发布、共享核心评估体系、基线标注的复制与复现区分、方差报告制度、统一评估框架,以及数据-架构-算法控制机制。这些问题本质上是协作失败的产物,而非任何单个实验室的过错——本文作者亦如GFM社区众多研究者般,对此负有责任。我们旨在通过具体可行步骤推动形成社区共识,而非仅停留于批判性分析,从而促进GFM领域的创新发展。

0
下载
关闭预览

相关内容

论文(Paper)是专知网站核心资料文档,包括全球顶级期刊、顶级会议论文,及全球顶尖高校博士硕士学位论文。重点关注中国计算机学会推荐的国际学术会议和期刊,CCF-A、B、C三类。通过人机协作方式,汇编、挖掘后呈现于专知网站。
【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
时空基础模型:愿景、挑战与机遇
专知会员服务
41+阅读 · 2025年1月18日
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
大模型+遥感?最新《遥感中的人工智能基础模型》综述
专知会员服务
63+阅读 · 2024年8月10日
《面向视觉语言地理基础模型》综述
专知会员服务
47+阅读 · 2024年6月15日
技术动态 | TechKG:一个面向中文学术领域的大型知识图谱
开放知识图谱
25+阅读 · 2018年12月20日
GIS最新热点以及未来发展热门
人工智能学家
10+阅读 · 2018年3月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
时空基础模型:愿景、挑战与机遇
专知会员服务
41+阅读 · 2025年1月18日
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
大模型+遥感?最新《遥感中的人工智能基础模型》综述
专知会员服务
63+阅读 · 2024年8月10日
《面向视觉语言地理基础模型》综述
专知会员服务
47+阅读 · 2024年6月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员