Inferring the infinitesimal rates of continuous-time Markov chains (CTMCs) is a central challenge in many scientific domains. This task is hindered by three factors: quadratic growth in the number of rates as the CTMC state space expands, strong dependencies among rates, and incomplete information for many transitions. We introduce a new Bayesian framework that flexibly models the CTMC rates by incorporating covariates through Gaussian processes (GPs). This approach improves inference by integrating new information and contributes to the understanding of the CTMC stochastic behavior by shedding light on potential external drivers. Unlike previous approaches limited to linear covariate effects, our method captures complex non-linear relationships, enabling fuller use of covariate information and more accurate characterization of their influence. To perform efficient inference, we employ a scalable Hamiltonian Monte Carlo (HMC) sampler. We address the prohibitive cost of computing the exact likelihood gradient by integrating the HMC trajectories with a scalable gradient approximation, reducing the computational complexity from $O(K^5)$ to $O(K^2)$, where $K$ is the number of CTMC states. Finally, we demonstrate our method on Bayesian phylogeography inference -- a domain where CTMCs are central -- showing effectiveness on both synthetic and real datasets.


翻译:推断连续时间马尔可夫链(CTMC)的无穷小速率是众多科学领域中的核心挑战。该任务受到三个因素的阻碍:随着CTMC状态空间的扩展,速率数量呈二次增长;速率之间存在强依赖性;以及许多转移信息不完整。我们提出了一种新的贝叶斯框架,通过高斯过程(GPs)纳入协变量,从而灵活地对CTMC速率进行建模。该方法通过整合新信息改进了推断,并通过揭示潜在的外部驱动因素,有助于理解CTMC的随机行为。与以往仅限于线性协变量效应的方法不同,我们的方法能够捕捉复杂的非线性关系,从而更充分地利用协变量信息并更准确地刻画其影响。为了进行高效推断,我们采用了一种可扩展的哈密顿蒙特卡洛(HMC)采样器。我们通过将HMC轨迹与一种可扩展的梯度近似相结合,解决了计算精确似然梯度的过高成本问题,将计算复杂度从$O(K^5)$降低到$O(K^2)$,其中$K$是CTMC的状态数。最后,我们在贝叶斯系统地理学推断——一个以CTMC为核心的领域——中展示了我们的方法,并在合成和真实数据集上验证了其有效性。

0
下载
关闭预览

相关内容

【ICML2025】用于概率时间序列预测的非平稳扩散方法
专知会员服务
10+阅读 · 2025年5月10日
非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
75+阅读 · 2024年4月16日
时间序列复杂网络分析中的可视图方法研究综述
专知会员服务
50+阅读 · 2023年12月2日
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
90+阅读 · 2022年4月15日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月17日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员