会员服务
在数学统计中，Kullback-Leibler散度（也称为相对熵）是衡量一个概率分布与第二个参考概率分布有何不同的一种度量。应用包括表征信息系统中的相对（香农）熵，连续时间序列中的随机性以及比较推论的统计模型时的信息增益。在简单的情况下，Kullback-Leibler散度为0表示所讨论的两个分布是相同的。 简而言之，它具有各种应用，例如应用统计，流体力学，神经科学和机器学习。
Logit Distance Bounds Representational Similarity
Arxiv
0+阅读 · 2月18日
Easy Data Unlearning Bench
Arxiv
0+阅读 · 2月18日
General Exploratory Bonus for Optimistic Exploration in RLHF
Arxiv
0+阅读 · 2月17日
Logit Distance Bounds Representational Similarity
Arxiv
0+阅读 · 2月17日
Displacement-Resistant Extensions of DPO with Nonconvex $f$-Divergences
Arxiv
0+阅读 · 2月6日
Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning
Arxiv
0+阅读 · 2月10日
Forecast Aware Deep Reinforcement Learning for Efficient Electricity Load Scheduling in Dairy Farms
Arxiv
0+阅读 · 2月6日
Optimal Formats for Weight Quantisation
Arxiv
0+阅读 · 2月13日
A Unified Framework for Rethinking Policy Divergence Measures in GRPO
Arxiv
0+阅读 · 2月5日
Beyond KL Divergence: Policy Optimization with Flexible Bregman Divergences for LLM Reasoning
Arxiv
0+阅读 · 2月4日
Well-Posed KL-Regularized Control via Wasserstein and Kalman-Wasserstein KL Divergences
Arxiv
0+阅读 · 2月2日
Relaxed Triangle Inequality for Kullback-Leibler Divergence Between Multivariate Gaussian Distributions
Arxiv
0+阅读 · 1月31日
The First and Second-Order Asymptotics of Covert Communication over AWGN Channels
Arxiv
0+阅读 · 2月1日
Improved Stochastic Optimization of LogSumExp
Arxiv
0+阅读 · 2月3日
Context-Free Synthetic Data Mitigates Forgetting
Arxiv
0+阅读 · 2月2日
参考链接
微信扫码咨询专知VIP会员
Top