Effective disaster response relies on rapid disaster response, where oblique aerial video is the primary modality for initial scouting due to its ability to maximize spatial coverage and situational awareness in limited flight time. However, the on-board processing of high-resolution oblique streams is severely bottlenecked by the strict Size, Weight, and Power (SWaP) constraints of Unmanned Aerial Vehicles (UAVs). The computational density required to process these wide-field-of-view streams precludes low-latency inference on standard edge hardware. To address this, we propose Temporal Token Reuse (TTR), an adaptive inference framework capable of accelerating video segmentation on embedded devices. TTR exploits the intrinsic spatiotemporal redundancy of aerial video by formulating image patches as tokens; it utilizes a lightweight similarity metric to dynamically identify static regions and propagate their precomputed deep features, thereby bypassing redundant backbone computations. We validate the framework on standard benchmarks and a newly curated Oblique Floodwater Dataset designed for hydrological monitoring. Experimental results on edge-grade hardware demonstrate that TTR achieves a 30% reduction in inference latency with negligible degradation in segmentation accuracy (< 0.5% mIoU). These findings confirm that TTR effectively shifts the operational Pareto frontier, enabling high-fidelity, real-time oblique video understanding for time-critical remote sensing missions


翻译:有效的灾害响应依赖于快速的灾情评估,其中倾斜航拍视频因其能在有限飞行时间内最大化空间覆盖和态势感知能力,成为初期侦察的主要模态。然而,高分辨率倾斜视频流的机载处理受到无人机严格的尺寸、重量和功率(SWaP)约束的严重制约。处理这些宽视场视频流所需的计算密度使得在标准边缘硬件上实现低延迟推理变得困难。为此,我们提出时序令牌复用(Temporal Token Reuse, TTR),一种能够在嵌入式设备上加速视频分割的自适应推理框架。TTR通过将图像块表述为令牌,利用航空视频固有的时空冗余性;它采用轻量级相似性度量动态识别静态区域,并传播其预计算的深度特征,从而规避冗余的主干网络计算。我们在标准基准测试集以及新构建的专为水文监测设计的倾斜洪水数据集上验证了该框架。在边缘级硬件上的实验结果表明,TTR实现了30%的推理延迟降低,同时分割精度下降可忽略不计(< 0.5% mIoU)。这些发现证实TTR有效移动了操作帕累托前沿,为时间紧迫的遥感任务实现了高保真、实时的倾斜视频理解。

0
下载
关闭预览

相关内容

《无人机群传感器覆盖算法》41页
专知会员服务
33+阅读 · 2025年4月17日
军用无人机行业深度报告
专知
15+阅读 · 2022年8月21日
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
反无人机技术的方法与难点
无人机
32+阅读 · 2019年4月30日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
VIP会员
相关VIP内容
《无人机群传感器覆盖算法》41页
专知会员服务
33+阅读 · 2025年4月17日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员