We present the Spatial Adapter, a parameter-efficient post-hoc layer that equips any frozen first-stage predictor with a structured spatial representation of its residual field and an induced closed-form spatial covariance. The adapter operates as a cascade second stage on residuals, jointly learning a spatially regularized orthonormal basis and per-sample scores via a tractable mini-batch ADMM procedure, without modifying any first-stage parameter. Because the first-stage parameters are frozen, the adapter does not retrain the backbone; its role is to supply a compressed distributional summary of the residual field. Smoothness, sparsity, and orthogonality together turn a generic low-rank factorization into an identifiable spatial representation whose induced residual covariance admits a closed-form low-rank-plus-noise estimator; the effective rank is determined data-adaptively by spectral thresholding, while the nominal rank K is an optimization-side upper bound only. This covariance enables kriging-style spatial prediction at unobserved locations, with plug-in uncertainty quantification as a secondary downstream use. Across synthetic data, Weather2K for spatial-holdout prediction, and GWHD patch grids as a basis-transferability diagnostic, the adapter recovers residual spatial structure when paired with frozen first stages from linear models to deep spatiotemporal and vision backbones; the added representation uses fewer than K(N+T) parameters alongside a compact residual-trend network.


翻译:我们提出空间适配器(Spatial Adapter),这是一种参数高效的后处理层,可为任何冻结的一阶段预测器赋予其残差场的结构化空间表示以及诱导出的闭式空间协方差。该适配器以级联二阶段方式处理残差,通过可处理的迷你批次交替方向乘子法(ADMM)程序联合学习空间正则化的标准正交基和逐样本得分,且无需修改任何一阶段参数。由于一阶段参数被冻结,适配器不会重新训练主干网络;其作用在于提供残差场的压缩分布摘要。平滑性、稀疏性和正交性共同将通用低秩分解转化为可识别的空间表示,其诱导残差协方差支持闭式低秩加噪声估计器;有效秩通过谱阈值自适应地确定,而标称秩K仅为优化侧上限。该协方差可实现未观测位置处的克里金式空间预测,并将插件式不确定性量化作为次要下游应用。在合成数据、用于空间留出预测的Weather2K数据集以及作为基础迁移性诊断工具的GWHD斑块网格上,该适配器在与从线性模型到深度时空及视觉主干的冻结一阶段配合使用时,能够恢复残差空间结构;其附加表示使用少于K(N+T)个参数,并搭配紧凑残差趋势网络。

0
下载
关闭预览

相关内容

《战场空间决策优势:AI基础与应用研究》总结报告
专知会员服务
26+阅读 · 2025年12月26日
《多源导航架构的协方差分析》美国空军2022最新101页论文
专知会员服务
12+阅读 · 2021年7月27日
通过条件梯度进行结构化机器学习训练,50页ppt与视频
专知会员服务
13+阅读 · 2021年2月25日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
半监督深度学习小结:类协同训练和一致性正则化
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月15日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员