With the rapid growth of video centered social media, the ability to anticipate risky events from visual data is a promising direction for ensuring public safety and preventing real world accidents. Prior work has extensively studied supervised video risk assessment across domains such as driving, protests, and natural disasters. However, many existing datasets provide models with access to the full video sequence, including the accident itself, which substantially reduces the difficulty of the task. To better reflect real world conditions, we introduce a new video understanding benchmark RiskCueBench in which videos are carefully annotated to identify a risk signal clip, defined as the earliest moment that indicates a potential safety concern. Experimental results reveal a significant gap in current systems ability to interpret evolving situations and anticipate future risky events from early visual signals, highlighting important challenges for deploying video risk prediction models in practice.


翻译:随着以视频为中心的社交媒体快速增长,从视觉数据中预判风险事件成为保障公共安全和预防现实世界事故的一个前景广阔的方向。先前的研究已在驾驶、抗议活动和自然灾害等多个领域对监督式视频风险评估进行了广泛探索。然而,许多现有数据集为模型提供了包含事故本身在内的完整视频序列,这大大降低了任务的难度。为了更好地反映现实世界条件,我们引入了一个新的视频理解基准RiskCueBench,其中的视频经过精心标注以识别风险信号片段,该片段被定义为指示潜在安全关切的最早时刻。实验结果表明,当前系统在解读动态演变情境以及基于早期视觉信号预判未来风险事件的能力方面存在显著差距,突显了视频风险预测模型在实际部署中面临的重要挑战。

0
下载
关闭预览

相关内容

面向金融风险预测的时序图神经网络综述
专知会员服务
24+阅读 · 2024年11月14日
【MIT博士论文】隐私保护视频分析,116页pdf
专知会员服务
20+阅读 · 2023年8月10日
基于无标签视频数据的深度预测学习方法综述
专知会员服务
35+阅读 · 2022年5月16日
监控视频的异常检测与建模综述
专知会员服务
50+阅读 · 2021年12月27日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员