Low-rank tensor decomposition (TD) is usually effective on clean, fully observed data, but it often degrades under severe missingness or noise. Low-rankness is itself a useful but limited structural prior, and additional handcrafted priors (e.g., sparsity or smoothness) still fall short of capturing the rich statistics of real-world data. To compensate for this weak inductive bias under heavy corruption, one would like to inject a learned, data-driven prior; however, the state-of-the-art diffusion models are not readily compatible with current TD and tractable posterior inference. To address these challenges, we introduce DiffBCP, a hybrid-prior Bayesian CP decomposition framework that couples a cumulative shrinkage process prior over the CP factors for automatic rank selection with an off-the-shelf pre-trained diffusion model as an implicit data prior on the reconstructed tensor. To make posterior inference tractable despite the coupling among the likelihood, low-rank constraint, and diffusion prior, we develop a split Gibbs sampler: CP factors admit conjugate updates, while the diffusion block is sampled via low-rank-guided denoising. A noise-adaptive coupling schedule further reduces sensitivity to hand-tuned annealing. Experiments on image inpainting and denoising, including high-resolution out-of-distribution images, show consistent gains over Bayesian, nonlinear, and plug-and-play TD baselines.


翻译:摘要:低秩张量分解(TD)通常对干净、完全观测的数据有效,但在严重缺失或噪声条件下性能往往下降。低秩性本身是一种有用但有限的先验结构,而额外的手工先验(如稀疏性或平滑性)仍难以捕捉真实世界数据的丰富统计特征。为弥补这种重度污染下的弱归纳偏差,需要引入学习所得的、数据驱动的先验;然而,当前最先进的扩散模型难以与现有TD及可处理的后验推理兼容。为解决这些挑战,我们提出DiffBCP——一种混合先验的贝叶斯CP分解框架,该框架将CP因子上的累积收缩过程先验(用于自动秩选择)与现成的预训练扩散模型(作为重建张量上的隐式数据先验)相耦合。为使似然函数、低秩约束和扩散先验耦合下的后验推理可处理,我们开发了分裂吉布斯采样器:CP因子允许共轭更新,而扩散块通过低秩引导的去噪过程进行采样。噪声自适应耦合调度进一步降低了对手工调参退火的敏感性。图像修复与去噪实验(包括高分辨率分布外图像)表明,本方法在贝叶斯、非线性及即插即用TD基线上持续取得性能提升。

0
下载
关闭预览

相关内容

【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验
专知会员服务
15+阅读 · 2024年10月26日
【CVPR2024】贝叶斯扩散模型用于三维形状重建
专知会员服务
34+阅读 · 2024年3月12日
稀疏大模型简述:从MoE、Sparse Attention到GLaM
夕小瑶的卖萌屋
14+阅读 · 2022年3月22日
从模型到应用,一文读懂因子分解机
AI100
10+阅读 · 2019年9月6日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
35+阅读 · 2019年3月17日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
2+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
9+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
11+阅读 · 6月17日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员