Spatiotemporal predictive learning (STPL) aims to forecast future frames from past observations and is essential across a wide range of applications. Compared with recurrent or hybrid architectures, pure convolutional models offer superior efficiency and full parallelism, yet their fixed receptive fields limit their ability to adaptively capture spatially varying motion patterns. Inspired by biological center-surround organization and frequency-selective signal processing, we propose PFGNet, a fully convolutional framework that dynamically modulates receptive fields through pixel-wise frequency-guided gating. The core Peripheral Frequency Gating (PFG) block extracts localized spectral cues and adaptively fuses multi-scale large-kernel peripheral responses with learnable center suppression, effectively forming spatially adaptive band-pass filters. To maintain efficiency, all large kernels are decomposed into separable 1D convolutions ($1 \times k$ followed by $k \times 1$), reducing per-channel computational cost from $O(k^2)$ to $O(2k)$. PFGNet enables structure-aware spatiotemporal modeling without recurrence or attention. Experiments on Moving MNIST, TaxiBJ, Human3.6M, and KTH show that PFGNet delivers SOTA or near-SOTA forecasting performance with substantially fewer parameters and FLOPs. Our code is available at https://github.com/fhjdqaq/PFGNet.


翻译:时空预测学习(STPL)旨在根据过去观测预测未来帧,在众多应用中至关重要。与循环或混合架构相比,纯卷积模型具有更高的效率和完全并行性,但其固定感受野限制了自适应捕捉空间变化运动模式的能力。受生物中心-环绕组织和频率选择性信号处理的启发,我们提出PFGNet——一种通过像素级频率引导门控动态调节感受野的全卷积框架。核心的"外周频率门控(PFG)"模块提取局部频谱线索,自适应融合多尺度大核外周响应与可学习的中心抑制,形成空间自适应带通滤波器。为保持效率,所有大核均分解为可分离的1D卷积($1 \times k$后接$k \times 1$),使每通道计算成本从$O(k^2)$降至$O(2k)$。PFGNet无需循环或注意力机制即可实现结构感知的时空建模。在Moving MNIST、TaxiBJ、Human3.6M和KTH数据集上的实验表明,PFGNet以显著更少的参数和FLOPs取得了SOTA或接近SOTA的预测性能。我们的代码已开源:https://github.com/fhjdqaq/PFGNet

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
【HKUST博士论文】迈向可扩展且具泛化能力的时空预测
专知会员服务
18+阅读 · 2025年6月27日
遥感时空融合深度学习的十年演进:进展、挑战与机遇
专知会员服务
21+阅读 · 2025年4月2日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
29+阅读 · 2025年3月14日
【CVPR2022-上海交大】可持续时空预测学习框架
专知会员服务
32+阅读 · 2022年5月14日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
一文带你读懂 SegNet(语义分割)
AI研习社
19+阅读 · 2019年3月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
基于声学的无人机检测技术综述
专知会员服务
0+阅读 · 9分钟前
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
0+阅读 · 35分钟前
战略前沿人工智能的再思考(中文)
专知会员服务
6+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
5+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
15+阅读 · 5月28日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员