Infrared video has been of great interest in visual tasks under challenging environments, but often suffers from severe atmospheric turbulence and compression degradation. Existing video super-resolution (VSR) methods either neglect the inherent modality gap between infrared and visible images or fail to restore turbulence-induced distortions. Directly cascading turbulence mitigation (TM) algorithms with VSR methods leads to error propagation and accumulation due to the decoupled modeling of degradation between turbulence and resolution. We introduce HATIR, a Heat-Aware Diffusion for Turbulent InfraRed Video Super-Resolution, which injects heat-aware deformation priors into the diffusion sampling path to jointly model the inverse process of turbulent degradation and structural detail loss. Specifically, HATIR constructs a Phasor-Guided Flow Estimator, rooted in the physical principle that thermally active regions exhibit consistent phasor responses over time, enabling reliable turbulence-aware flow to guide the reverse diffusion process. To ensure the fidelity of structural recovery under nonuniform distortions, a Turbulence-Aware Decoder is proposed to selectively suppress unstable temporal cues and enhance edge-aware feature aggregation via turbulence gating and structure-aware attention. We built FLIR-IVSR, the first dataset for turbulent infrared VSR, comprising paired LR-HR sequences from a FLIR T1050sc camera (1024 X 768) spanning 640 diverse scenes with varying camera and object motion conditions. This encourages future research in infrared VSR. Project page: https://github.com/JZ0606/HATIR


翻译:红外视频在恶劣环境下的视觉任务中具有重要价值,但其常受严重大气湍流与压缩劣化的影响。现有视频超分辨率方法或忽视了红外与可见光图像间的固有模态差异,或未能有效恢复湍流引起的畸变。直接将湍流抑制算法与视频超分辨率方法级联,会因湍流与分辨率劣化解耦建模而导致误差传播与累积。本文提出HATIR——一种面向湍流红外视频超分辨率的温度感知扩散方法,该方法将温度感知形变先验注入扩散采样路径,以联合建模湍流退化与结构细节损失的反向过程。具体而言,HATIR构建了基于物理原理的相量引导流估计器:热活跃区域在时序上呈现一致的相量响应,据此生成可靠的湍流感知流以指导反向扩散过程。为确保非均匀畸变下结构恢复的保真度,本文提出湍流感知解码器,通过湍流门控与结构感知注意力机制,选择性抑制不稳定时序线索并增强边缘感知特征聚合。我们构建了首个湍流红外视频超分辨率数据集FLIR-IVSR,包含来自FLIR T1050sc相机(1024×768)的配对低分辨率-高分辨率序列,涵盖640个具有不同相机与物体运动状态的多样化场景,以推动红外视频超分辨率领域的后续研究。项目页面:https://github.com/JZ0606/HATIR

0
下载
关闭预览

相关内容

【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员