Timely and spatially resolved disaster impact assessment is essential for effective emergency response. However, automated methods typically struggle with temporal asynchrony. Real-time human reports capture peak hazard conditions while high-resolution satellite imagery is frequently acquired after peak conditions. This often reflects flood recession rather than maximum extent. Naive fusion of these misaligned streams can yield dangerous underestimates when post-event imagery overrides documented peak flooding. We present CrisiSense-RAG, which is a multimodal retrieval-augmented generation framework that reframes impact assessment as evidence synthesis over heterogeneous data sources without disaster-specific fine-tuning. The system employs hybrid dense-sparse retrieval for text sources and CLIP-based retrieval for aerial imagery. A split-pipeline architecture feeds into asynchronous fusion logic that prioritizes real-time social evidence for peak flood extent while treating imagery as persistent evidence of structural damage. Evaluated on Hurricane Harvey across 207 ZIP-code queries, the framework achieves a flood extent MAE of 10.94% to 28.40% and damage severity MAE of 16.47% to 21.65% in zero-shot settings. Prompt-level alignment proves critical for quantitative validity because metric grounding improves damage estimates by up to 4.75 percentage points. These results demonstrate a practical and deployable approach to rapid resilience intelligence under real-world data constraints.


翻译:具有时空分辨率的灾害影响及时评估对于有效应急响应至关重要。然而,自动化方法通常难以应对时间异步问题:实时人类报告捕捉峰值灾害条件,而高分辨率卫星图像通常是在峰值条件之后获取的,这往往反映的是洪水消退过程而非最大淹没范围。当灾后图像覆盖记录的峰值洪灾时,对这些未对齐数据流的朴素融合可能产生危险的低估。我们提出CrisiSense-RAG,这是一个多模态检索增强生成框架,将影响评估重塑为异构数据源上的证据综合过程,无需针对特定灾害进行微调。该系统对文本源采用混合稠密-稀疏检索,对航空影像采用基于CLIP的检索。一种分裂流水线架构将数据馈入异步融合逻辑,该逻辑优先利用实时社交证据确定峰值洪灾范围,同时将影像视为结构性破坏的持续性证据。在针对哈维飓风207个邮政编码区域查询的评估中,该框架在零样本设置下实现了洪水范围的MAE(平均绝对误差)为10.94%至28.40%,损害严重性的MAE为16.47%至21.65%。提示级对齐对定量有效性至关重要,因为度量指标锚定可将损害估计最多提升4.75个百分点。这些结果表明,在现实数据约束下,这是一种可实现且可部署的快速韧性情报方法。

0
下载
关闭预览

相关内容

《物联网在危机管理中的应用》2023最新137页论文
专知会员服务
28+阅读 · 2023年9月7日
专知会员服务
34+阅读 · 2021年9月16日
【CVPR2020】多模态社会媒体中危机事件分类
专知会员服务
55+阅读 · 2020年4月18日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
一文概览基于深度学习的超分辨率重建架构
网络安全态势感知浅析
计算机与网络安全
18+阅读 · 2017年10月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关VIP内容
《物联网在危机管理中的应用》2023最新137页论文
专知会员服务
28+阅读 · 2023年9月7日
专知会员服务
34+阅读 · 2021年9月16日
【CVPR2020】多模态社会媒体中危机事件分类
专知会员服务
55+阅读 · 2020年4月18日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员