Video snapshot compressive imaging (SCI) captures dynamic scene sequences through a two-dimensional (2D) snapshot, fundamentally relying on optical modulation for hardware compression and the corresponding software reconstruction. While mainstream video SCI using random binary modulation has demonstrated success, it inevitably results in temporal aliasing during compression. One-hot modulation, activating only one sub-frame per pixel, provides a promising solution for achieving perfect temporal decoupling, thereby alleviating issues associated with aliasing. However, no algorithms currently exist to fully exploit this potential. To bridge this gap, we propose an algorithm specifically designed for one-hot masks. First, leveraging the decoupling properties of one-hot modulation, we transform the reconstruction task into a generative video inpainting problem and introduce a stochastic differential equation (SDE) of the forward process that aligns with the hardware compression process. Next, we identify limitations of the pure diffusion method for video SCI and propose a novel framework that combines one-step regression initialization with one-step diffusion refinement. Furthermore, to mitigate the spatial degradation caused by one-hot modulation, we implement a dual optical path at the hardware level, utilizing complementary information from another path to enhance the inpainted video. To our knowledge, this is the first work integrating diffusion into video SCI reconstruction. Experiments conducted on synthetic datasets and real scenes demonstrate the effectiveness of our method.


翻译:视频快照压缩成像(SCI)通过二维(2D)快照捕获动态场景序列,其核心依赖于光学调制实现硬件压缩及相应的软件重建。虽然采用随机二进制调制的主流视频SCI已取得成功,但在压缩过程中不可避免地会产生时间混叠。独热调制(每个像素仅激活一个子帧)为实现完美的时间解耦提供了有前景的解决方案,从而缓解了混叠相关问题。然而,目前尚无算法能充分挖掘这一潜力。为填补这一空白,我们提出了一种专为独热掩模设计的算法。首先,利用独热调制的解耦特性,我们将重建任务转化为生成式视频修复问题,并引入与硬件压缩过程相匹配的前向过程随机微分方程(SDE)。其次,我们指出了纯扩散方法在视频SCI中的局限性,并提出了一种结合单步回归初始化与单步扩散优化的新框架。此外,为减轻独热调制造成的空间退化,我们在硬件层面实现了双光路设计,利用另一光路的互补信息来增强修复后的视频质量。据我们所知,这是首次将扩散模型集成到视频SCI重建中的工作。在合成数据集和真实场景上进行的实验验证了本方法的有效性。

0
下载
关闭预览

相关内容

【CVPR2025】基于组合表示移植的图像编辑方法
专知会员服务
8+阅读 · 2025年4月5日
【CVPR2025】BIMBA:面向长范围视频问答的选择性扫描压缩
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员