Feature screening in high-dimensional classification is an important problem in statistical learning, particularly in genomics, imaging, and other scientific fields, especially when the number of predictors exceeds the sample size. Zhong et al. (2024) present a semi-distance covariance (SDCov) as a dependence measure between a categorical random variable and a multivariate continuous random vector, presenting it as a promising tool for group-wise feature screening. However, SDCov is defined using the Euclidean norm, and its performance may be affected when the data is derived from heavy-tailed distributions or when outlier observations are present, which is a common phenomenon in high-dimensional data. This study proposes a modification of SDCov by replacing the $L_2$ norm with an $L_1$ norm. This adjustment results in a dependency measure between a categorical variable and a multivariate continuous variable that maintains the independence-characterization property of the original definition. Additionally, it serves as a robust and interpretable measure, particularly in the presence of outliers in the data. We establish the fundamental theoretical properties of the proposed measure and introduce a U-statistics-based estimator along with JEL-based inference for the measure. Additionally, we have introduced a test for independence based on the proposed measure. An extensive Monte Carlo simulation is performed to evaluate the effectiveness of the proposed measure in comparison to existing measures in the literature. The proposed measure is applied in feature screening, as illustrated with the ADNI Alzheimer's disease dataset and the Iris dataset. The data analysis shows the proposed measure's effectiveness in identifying variables that facilitate strong class separation of the respective response variables.


翻译:暂无翻译

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 10月18日
Arxiv
0+阅读 · 10月14日
Arxiv
46+阅读 · 2022年9月6日
Inductive Relation Prediction by Subgraph Reasoning
Arxiv
11+阅读 · 2020年2月12日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
6+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
12+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
11+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
15+阅读 · 10月20日
相关VIP内容
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员