Binary density ratio estimation (DRE), the problem of estimating the ratio $p_1/p_2$ given their empirical samples, provides the foundation for many state-of-the-art machine learning algorithms such as contrastive representation learning and covariate shift adaptation. In this work, we consider a generalized setting where given samples from multiple distributions $p_1, \ldots, p_k$ (for $k > 2$), we aim to efficiently estimate the density ratios between all pairs of distributions. Such a generalization leads to important new applications such as estimating statistical discrepancy among multiple random variables like multi-distribution $f$-divergence, and bias correction via multiple importance sampling. We then develop a general framework from the perspective of Bregman divergence minimization, where each strictly convex multivariate function induces a proper loss for multi-distribution DRE. Moreover, we rederive the theoretical connection between multi-distribution density ratio estimation and class probability estimation, justifying the use of any strictly proper scoring rule composite with a link function for multi-distribution DRE. We show that our framework leads to methods that strictly generalize their counterparts in binary DRE, as well as new methods that show comparable or superior performance on various downstream tasks.

翻译：估算 $ p_ 1/ p_ 2 美元 的 实证样本, 估算 $ p_ 1/ p_ 2 美元 的 比例 的 二进密度 估计 ( DRE ) 问题, 根据 经验 样本 估计 $ p_ 1/ p_ 2 的 比率 问题, 为 许多 最 先进的 机器 学习 算法 提供了 基础, 如 对比 代表性 学习 和 共 变 变化 适应 。 在 这项工作中, 我们考虑一个通用的设置, 多分布 $ p_ 1,\ ldot, p_ k 美元 ( 美元 > 2 美元) 的 给 样本, 我们的目标是 有效 估计 分布 的所有 分布 的 分布 组 之间 的 的 密度 比例 比例 比率 估计 。 这种 概括性 导致 重要的 新的 应用, 比如 使用 严格 正确 的 的 评分数 规则 组合, 和 多分配 DRE 的 函数 。 我们 显示 框架 将 严格 的 上 的 上 的 的 上 的 的 上 的 的 上 的 的 的 的 的 上 的 的 的 的 的 上 的 的 的 的 的, 的 的 的 的 的 的 的 等式 等式 等式 等 等 等 等式 等式 等式 方法 。