Computation of confidence sets is central to data science and machine learning, serving as the workhorse of A/B testing and underpinning the operation and analysis of reinforcement learning algorithms. Among all valid confidence sets for the multinomial parameter, minimum-volume confidence sets (MVCs) are optimal in that they minimize average volume, but they are defined as level sets of an exact p-value that is discontinuous and difficult to compute. Rather than attempting to characterize the geometry of MVCs directly, this paper studies a practically motivated decision problem: given two observed multinomial outcomes, can one certify whether their MVCs intersect? We present a certified, tolerance-aware algorithm for this intersection problem. The method exploits the fact that likelihood ordering induces halfspace constraints in log-odds coordinates, enabling adaptive geometric partitioning of parameter space and computable lower and upper bounds on p-values over each cell. For three categories, this yields an efficient and provably sound algorithm that either certifies intersection, certifies disjointness, or returns an indeterminate result when the decision lies within a prescribed margin. We further show how the approach extends to higher dimensions. The results demonstrate that, despite their irregular geometry, MVCs admit reliable certified decision procedures for core tasks in A/B testing.


翻译:置信集的计算是数据科学和机器学习的核心,它作为A/B测试的主要工具,并支撑着强化学习算法的运行与分析。在所有针对多项分布参数的有效置信集中,最小体积置信集(MVCs)是最优的,因为它们最小化平均体积,但它们被定义为一个精确p值的水平集,该p值具有不连续性且难以计算。本文不直接尝试刻画MVCs的几何特性,而是研究一个实际驱动的决策问题:给定两个观测到的多项分布结果,能否判定它们的MVCs是否相交?我们为此交集问题提出了一种经过认证的、容错感知的算法。该方法利用似然排序在对数几率坐标中诱导出半空间约束,从而实现对参数空间的自适应几何划分,并可在每个单元上计算p值的可计算上下界。对于三个类别的情况,这产生了一个高效且可证明可靠的算法,该算法要么认证交集存在,要么认证互不相交,或者在决策处于预设容差范围内时返回不确定结果。我们进一步展示了该方法如何扩展到更高维度。结果表明,尽管MVCs具有不规则的几何形状,它们仍允许对A/B测试中的核心任务采用可靠的认证决策程序。

0
下载
关闭预览

相关内容

【ICML2025】学习最优多模态信息瓶颈表示
专知会员服务
11+阅读 · 2025年5月28日
专知会员服务
29+阅读 · 2021年6月7日
关于处理样本不平衡问题的Trick整理
机器学习算法与Python学习
14+阅读 · 2017年12月3日
福利 | 最全面超大规模数据集下载链接汇总
AI研习社
26+阅读 · 2017年9月7日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月31日
Arxiv
0+阅读 · 1月22日
VIP会员
相关VIP内容
【ICML2025】学习最优多模态信息瓶颈表示
专知会员服务
11+阅读 · 2025年5月28日
专知会员服务
29+阅读 · 2021年6月7日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员