Generative models typically rely on either simple latent priors (e.g., Variational Autoencoders, VAEs), which are efficient but limited, or highly expressive iterative samplers (e.g., Diffusion and Energy-based Models), which are costly and opaque. We introduce the Kolmogorov-Arnold Energy Model (KAEM) to bridge this trade-off and provide new opportunities for latent-space interpretability. Based on a novel adaptation of the Kolmogorov-Arnold Representation Theorem, KAEM imposes a univariate latent structure on the prior, enabling exact inference via the inverse transform method. With a low-dimensional latent space and appropriate inductive biases, importance sampling becomes a tractable, unbiased, and efficient posterior inference method. For settings where this fails, we propose a population-based strategy that decomposes the posterior into a sequence of annealed distributions, a new remedy for poor mixing in Energy-based Models. We compare KAEM against VAEs, the neural latent EBM architecture, and a denoising diffusion probabilistic model. Across SVHN, CIFAR10, and CelebA, KAEM attains the best Fréchet Inception Distance among latent-prior models, while sampling in a single forward pass and exposing an interpretable prior built from 1D densities.


翻译:生成模型通常依賴於兩種方式:要麼是簡單的潛在先驗(例如變分自編碼器,VAE),這種方法雖然高效但能力有限;要麼是高度表達性的迭代採樣器(例如擴散模型和基於能量的模型),這種方法成本高昂且不透明。我們提出科爾莫戈羅夫-阿諾德能量模型(KAEM),以橋接這種權衡,併為潛在空間的可解釋性提供新的可能性。基於科爾莫戈羅夫-阿諾德表示定理的新型改編,KAEM在先驗上施加了單變量潛在結構,從而能夠通過逆變換方法進行精確推斷。憑藉低維潛在空間和適當的歸納偏置,重要性採樣成為一種可處理、無偏且高效的後驗推斷方法。對於此方法失效的情況,我們提出了一種基於群體的策略,將後驗分解為一系列退火分佈,這為基於能量的模型中的混合不良問題提供了新的補救措施。我們將KAEM與VAE、神經潛在EBM架構以及去噪擴散概率模型進行了比較。在SVHN、CIFAR10和CelebA數據集上,KAEM在潛在先驗模型中取得了最佳Fréchet Inception距離,同時能在單次前向傳遞中完成採樣,並展現出由一維密度構建的可解釋先驗。

0
下载
关闭预览

相关内容

【港科大博士论文】生成模型的统计和结构特性,338页pdf
专知会员服务
48+阅读 · 2022年12月20日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
71+阅读 · 2020年10月24日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
VAE、GAN、Info-GAN:全解深度学习三大生成模型
数据派THU
20+阅读 · 2017年9月23日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
10+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
3+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
3+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
2+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员