The two-sample homogeneity testing problem is fundamental in statistics and becomes particularly challenging in high dimensions, where classical tests can suffer substantial power loss. We develop a learning-assisted procedure based on the projection 1-Wasserstein distance, which we call the neural Wasserstein test. The method is motivated by the observation that there often exists a low-dimensional projection under which the two high-dimensional distributions differ. In practice, we learn the projection directions via manifold optimization and a witness function using deep neural networks. To adapt to unknown projection dimensions and sparsity levels, we aggregate a collection of candidate statistics through a max-type construction, avoiding explicit tuning while potentially improving power. We establish the validity and consistency of the proposed test and prove a Berry--Esseen type bound for the Gaussian approximation. In particular, under the null hypothesis, the aggregated statistic converges to the absolute maximum of a standard Gaussian vector, yielding an asymptotically pivotal (distribution-free) calibration that bypasses resampling. Simulation studies and a real-data example demonstrate the strong finite-sample performance of the proposed method.


翻译:双样本同质性检验问题是统计学中的基础问题,在高维情形下变得尤为困难,此时经典检验方法可能遭受显著的功效损失。我们基于投影1-Wasserstein距离提出了一种学习辅助的检验方法,称之为神经Wasserstein检验。该方法的动机源于以下观察:通常存在一个低维投影,使得两个高维分布在该投影下呈现差异。在实际操作中,我们通过流形优化学习投影方向,并利用深度神经网络学习见证函数。为适应未知的投影维度和稀疏性水平,我们通过极大值型构造聚合一组候选统计量,从而避免显式调参并可能提升检验功效。我们建立了所提检验的有效性与一致性,并证明了其高斯近似的Berry-Esseen型误差界。特别地,在原假设下,聚合统计量收敛于标准高斯向量的绝对最大值,从而产生渐近枢轴(分布自由)的校准方法,无需重采样。模拟研究和实际数据案例均表明所提方法具有优异的有限样本性能。

0
下载
关闭预览

相关内容

【NeurIPS2024】面向视觉-语言模型测试时泛化的双原型演化
专知会员服务
18+阅读 · 2024年10月17日
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
24+阅读 · 2021年11月29日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
目标检测小tricks之样本不均衡处理
PaperWeekly
49+阅读 · 2019年4月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS2024】面向视觉-语言模型测试时泛化的双原型演化
专知会员服务
18+阅读 · 2024年10月17日
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
24+阅读 · 2021年11月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员