Streaming video understanding often involves time-sensitive scenarios where models need to answer exactly when the supporting visual evidence appears: answering before the evidence reflects speculation, answering after it has passed reduces real-time utility. To capture this behavior, we introduce a readiness-aware formulation of streaming video understanding with the Answer Readiness Score (ARS), a timing-aware objective with asymmetric early and late penalties. When combined with correctness, ARS defines an effective accuracy that measures not just whether a model is right, but whether it answers at the appropriate moment. Building on this formulation, we introduce StreamReady, a framework to unify temporal reasoning with on-time answering through a lightweight readiness mechanism that decides if sufficient evidence has been observed before responding. To evaluate this capability, we further introduce ProReady-QA, a benchmark with annotated answer evidence windows and proactive multi-turn questions across local and global contexts. StreamReady achieves superior performance on ProReady-QA, and consistently outperforms prior methods across eight additional streaming and offline long-video benchmarks, demonstrating robust and broadly generalizable video understanding capability.


翻译:流媒体视频理解通常涉及时间敏感场景,模型需要在支持性视觉证据出现的确切时刻进行回答:在证据出现前回答属于推测,在证据出现后回答则会降低实时效用。为捕捉这一行为,我们引入一种具备就绪感知能力的流媒体视频理解框架,并提出答案就绪度评分(ARS)——一种包含非对称提前与延迟惩罚的时序感知目标函数。结合回答正确性,ARS定义了一种有效准确率,不仅衡量模型是否正确,还评估其是否在适当时刻作出回答。基于此框架,我们提出StreamReady,该框架通过轻量级就绪机制统一时序推理与准时回答能力,该机制在响应前判断是否已观察到充分证据。为评估此能力,我们进一步构建ProReady-QA基准数据集,其中包含带标注的答案证据窗口以及涵盖局部与全局情境的主动式多轮问答。StreamReady在ProReady-QA上取得卓越性能,并在其他八个流媒体与离线长视频基准测试中持续超越现有方法,展现出鲁棒且广泛可泛化的视频理解能力。

0
下载
关闭预览

相关内容

Transformer如何用于视频?最新「视频Transformer」2022综述
专知会员服务
76+阅读 · 2022年1月20日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月7日
VIP会员
相关资讯
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员