会员服务
在数学统计中，Kullback-Leibler散度（也称为相对熵）是衡量一个概率分布与第二个参考概率分布有何不同的一种度量。应用包括表征信息系统中的相对（香农）熵，连续时间序列中的随机性以及比较推论的统计模型时的信息增益。在简单的情况下，Kullback-Leibler散度为0表示所讨论的两个分布是相同的。 简而言之，它具有各种应用，例如应用统计，流体力学，神经科学和机器学习。
Relative Entropy Estimation in Function Space: Theory and Applications to Trajectory Inference
Arxiv
0+阅读 · 4月22日
Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes
Arxiv
0+阅读 · 3月26日
Fast and Exact: Asymptotically Linear KL-Optimal Frequency Normalization
Arxiv
0+阅读 · 5月1日
KL Divergence Between Gaussians: A Step-by-Step Derivation for the Variational Autoencoder Objective
Arxiv
0+阅读 · 4月13日
Optimization-centric cutting feedback for semiparametric models
Arxiv
0+阅读 · 3月26日
The First and Second-Order Asymptotics of Covert Communication over AWGN Channels
Arxiv
0+阅读 · 4月7日
Exponential families from a single KL identity
Arxiv
0+阅读 · 4月30日
Understanding and Improving Shampoo and SOAP via Kullback-Leibler Minimization
Arxiv
0+阅读 · 3月31日
Differentially Private Distribution Release of Gaussian Mixture Models via KL-Divergence Minimization
Arxiv
0+阅读 · 3月22日
Information-Theoretic Digital Twins for Stealthy Attack Detection in Industrial Control Systems: A Closed-Form KL Divergence Approach
Arxiv
0+阅读 · 3月2日
Relaxed Triangle Inequality for Kullback-Leibler Divergence Between Multivariate Gaussian Distributions
Arxiv
0+阅读 · 3月2日
Logit Distance Bounds Representational Similarity
Arxiv
0+阅读 · 2月18日
Easy Data Unlearning Bench
Arxiv
0+阅读 · 2月18日
General Exploratory Bonus for Optimistic Exploration in RLHF
Arxiv
0+阅读 · 2月17日
Logit Distance Bounds Representational Similarity
Arxiv
0+阅读 · 2月17日
参考链接
微信扫码咨询专知VIP会员
Top