For feature selection and related problems, we introduce the notion of classification game, a cooperative game, with features as players and hinge loss based characteristic function and relate a feature's contribution to Shapley value based error apportioning (SVEA) of total training error. Our major contribution is ($\star$) to show that for any dataset the threshold 0 on SVEA value identifies feature subset whose joint interactions for label prediction is significant or those features that span a subspace where the data is predominantly lying. In addition, our scheme ($\star$) identifies the features on which Bayes classifier doesn't depend but any surrogate loss function based finite sample classifier does; this contributes to the excess $0$-$1$ risk of such a classifier, ($\star$) estimates unknown true hinge risk of a feature, and ($\star$) relate the stability property of an allocation and negative valued SVEA by designing the analogue of core of classification game. Due to Shapley value's computationally expensive nature, we build on a known Monte Carlo based approximation algorithm that computes characteristic function (Linear Programs) only when needed. We address the potential sample bias problem in feature selection by providing interval estimates for SVEA values obtained from multiple sub-samples. We illustrate all the above aspects on various synthetic and real datasets and show that our scheme achieves better results than existing recursive feature elimination technique and ReliefF in most cases. Our theoretically grounded classification game in terms of well defined characteristic function offers interpretability (which we formalize in terms of final task) and explainability of our framework, including identification of important features.


翻译:对于特性选择及相关问题,我们引入了分类游戏的概念,即合作游戏,其特点作为玩家,并紧扣基于损失的特性功能,并将某个特性与基于沙皮利值的值差差(SVEA)的总培训错误分配(SVEA)相关。我们的主要贡献是(美元),以显示在SVEA值上的任何数据设定阈值 0 阈值时,发现其标签预测联合互动意义重大或数据主要位于某个子空间的特征。此外,我们的方案($star$)基于Bayes分类器不依赖的特征,而基于任何基于有限样本分类师的代理损失函数;它有助于使基于沙皮值的值差差差差差差差差(SVEA)对总培训差差差差差差差(SVEA)的风险。我们的主要贡献是(Star$$$) 来显示一个配置值的稳定性和负值SVEA值的特性,我们只能用一个已知的近似值的近似值的近似值。我们用Sliearral 定义了我们现有的精确值的精确度 定义的精确度 和精确度 数据选择中,我们所有可能的定序中,我们现有的定值的精确值的精确值 。我们用Straalalalalalalalalalal ——我们用所有的精度 ——我们从各种的精确的精度 展示的精确度 ——我们用在各种的精确度选择的精确度的精确度上,我们用在SVI 显示的精确度选择中,我们所有的精确度选择的精确度 。

0
下载
关闭预览

相关内容

【CVPR2021】动态度量学习
专知会员服务
42+阅读 · 2021年3月30日
【CVPR2021】用于目标检测的通用实例蒸馏
专知会员服务
24+阅读 · 2021年3月22日
【AAAI2021】记忆门控循环网络
专知会员服务
50+阅读 · 2020年12月28日
专知会员服务
55+阅读 · 2020年9月7日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
210+阅读 · 2020年2月24日
已删除
inpluslab
8+阅读 · 2019年10月29日
Locally Sparse Networks for Interpretable Predictions
Arxiv
0+阅读 · 2021年6月10日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
1+阅读 · 今天16:54
Agentic RL:框架、实践与长程智能体训练
专知会员服务
1+阅读 · 今天16:52
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关资讯
已删除
inpluslab
8+阅读 · 2019年10月29日
Top
微信扫码咨询专知VIP会员