Changes in satellite imagery often occur over multiple time steps. Despite the emergence of bi-temporal change captioning datasets, there is a lack of multi-temporal event captioning datasets (at least two images per sequence) in remote sensing. This gap exists because (1) searching for visible events in satellite imagery and (2) labeling multi-temporal sequences require significant time and labor. To address these challenges, we present SkyScraper, an iterative multi-agent workflow that geocodes news articles and synthesizes captions for corresponding satellite image sequences. Our experiments show that SkyScraper successfully finds 5x more events than traditional geocoding methods, demonstrating that agentic feedback is an effective strategy for surfacing new multi-temporal events in satellite imagery. We apply our framework to a large database of global news articles, curating a new multi-temporal captioning dataset with 5,000 sequences. By automatically identifying imagery related to news events, our work also supports journalism and reporting efforts.


翻译:卫星图像中的变化通常涉及多个时间步长。尽管双时相变化描述数据集已出现,但遥感领域仍缺乏多时相事件描述数据集(每个序列至少包含两幅图像)。这一空白存在的原因在于:(1)在卫星图像中搜索可见事件;(2)标注多时相序列需要大量时间与人力。为解决上述挑战,我们提出SkyScraper——一种迭代式多智能体工作流,可对新闻文章进行地理编码并合成对应卫星图像序列的描述文本。实验表明,与传统地理编码方法相比,SkyScraper成功发现的事件数量提升5倍,证明智能体反馈策略在卫星图像中挖掘新型多时相事件方面具有显著效果。我们将该框架应用于大规模全球新闻文章数据库,整理出包含5000个序列的新型多时相描述数据集。通过自动识别与新闻事件相关的图像,本研究同时为新闻业与报道工作提供了技术支撑。

0
下载
关闭预览

相关内容

《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
《遥感时序视觉语言模型》全面综述
专知会员服务
30+阅读 · 2024年12月4日
多模态遥感图像配准方法研究综述
专知会员服务
19+阅读 · 2024年7月20日
「多模态遥感图像匹配方法」最新研究综述
专知会员服务
33+阅读 · 2023年4月7日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
事件知识图谱构建技术与应用综述
专知
25+阅读 · 2020年8月6日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
46+阅读 · 2014年12月31日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
10+阅读 · 7月19日
相关资讯
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
事件知识图谱构建技术与应用综述
专知
25+阅读 · 2020年8月6日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
46+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员