Euclidean representations distort data with intrinsic non-Euclidean structure. While Riemannian representation learning offers a solution by embedding data onto matching manifolds, it typically relies on an encoder to estimate densities on chosen manifolds. This involves optimizing numerically brittle objectives, potentially harming model training and quality. To completely circumvent this issue, we introduce the Riemannian generative decoder, a unifying approach for finding manifold-valued latents on any Riemannian manifold. Latents are learned with a Riemannian optimizer while jointly training a decoder network. By discarding the encoder, we vastly simplify the manifold constraint compared to current approaches which often only handle few specific manifolds. We validate our approach on three case studies -- a synthetic branching diffusion process, human migrations inferred from mitochondrial DNA, and cells undergoing a cell division cycle -- each showing that learned representations respect the prescribed geometry and capture intrinsic non-Euclidean structure. Our method requires only a decoder, is compatible with existing architectures, and yields interpretable latent spaces aligned with data geometry. Code available on https://github.com/yhsure/riemannian-generative-decoder.


翻译:欧几里得表示会扭曲具有内在非欧几里得结构的数据。虽然黎曼表示学习通过将数据嵌入到匹配的流形上提供了一种解决方案,但它通常依赖编码器来估计所选流形上的密度。这涉及优化数值不稳定的目标函数,可能损害模型训练和质量。为彻底规避此问题,我们提出了黎曼生成式解码器,这是一种在任何黎曼流形上寻找流形值潜变量的统一方法。潜变量通过黎曼优化器学习,同时联合训练解码器网络。通过舍弃编码器,我们极大地简化了流形约束,而现有方法通常仅支持少数特定流形。我们在三个案例研究中验证了该方法:一个合成分支扩散过程、基于线粒体DNA推断的人类迁徙、以及经历细胞分裂周期的细胞——每个案例均表明学习到的表示尊重预设几何结构并捕获了内在非欧几里得特征。我们的方法仅需解码器,兼容现有架构,并能生成与数据几何对齐的可解释潜在空间。代码见https://github.com/yhsure/riemannian-generative-decoder。

0
下载
关闭预览

相关内容

【LoG 2024教程】几何生成模型教程
专知会员服务
32+阅读 · 2024年11月28日
【NeurIPS2022】黎曼扩散模型
专知会员服务
43+阅读 · 2022年9月15日
最新《图神经网络》报告,29页ppt建模阐述GNN 与GAT等
专知会员服务
73+阅读 · 2022年8月25日
【干货书】黎曼几何统计的医学图像分析,637页pdf
专知会员服务
55+阅读 · 2022年4月25日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
6+阅读 · 9月3日
何为协作武器?
专知会员服务
9+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
13+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
8+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
8+阅读 · 8月31日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员