In this paper, we propose a novel bounded asymmetric elastic net ($L_{baen}$) loss function and combine it with the support vector machine (SVM), resulting in the BAEN-SVM. The $L_{baen}$ is bounded and asymmetric and can degrade to the asymmetric elastic net hinge loss, pinball loss, and asymmetric least squares loss. BAEN-SVM not only effectively handles noise-contaminated data but also addresses the geometric irrationalities in the traditional SVM. By proving the violation tolerance upper bound (VTUB) of BAEN-SVM, we show that the model is geometrically well-defined. Furthermore, we derive that the influence function of BAEN-SVM is bounded, providing a theoretical guarantee of its robustness to noise. The Fisher consistency of the model further ensures its generalization capability. Since the \( L_{\text{baen}} \) loss is non-convex, we designed a clipping dual coordinate descent-based half-quadratic algorithm to solve the non-convex optimization problem efficiently. Experimental results on artificial and benchmark datasets indicate that the proposed method outperforms classical and advanced SVMs, particularly in noisy environments.


翻译:本文提出了一种新颖的有界非对称弹性网络(\(L_{baen}\))损失函数,并将其与支持向量机(SVM)相结合,得到了BAEN-SVM模型。\(L_{baen}\)损失具有有界性和非对称性,并可退化为非对称弹性网络铰链损失、pinal损失和非对称最小二乘损失。BAEN-SVM不仅能有效处理噪声污染数据,还能解决传统SVM中的几何不合理性。通过证明BAEN-SVM的违规容忍上界(VTUB),我们表明该模型在几何上是良定义的。此外,我们推导出BAEN-SVM的影响函数是有界的,这为其对噪声的鲁棒性提供了理论保证。模型的Fisher一致性进一步确保了其泛化能力。鉴于\(L_{\text{baen}}\)损失是非凸的,我们设计了一种基于裁剪对偶坐标下降的半二次算法来高效求解该非凸优化问题。在人工数据集和基准数据集上的实验结果表明,所提方法优于经典和先进的SVM,特别是在噪声环境下表现更佳。

0
下载
关闭预览

相关内容

【牛津大学博士论文】图机器学习的鲁棒性分析
专知会员服务
31+阅读 · 2024年4月30日
【牛津大学博士论文】抗规避攻击鲁棒学习的样本复杂度
机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
84+阅读 · 2022年3月19日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
知识点 | 全面理解支持向量机
机器学习算法与Python学习
10+阅读 · 2019年1月2日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
【收藏】支持向量机原理详解+案例+代码!【点击阅读原文下载】
机器学习算法与Python学习
10+阅读 · 2018年9月13日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
使用随机森林分类器预测森林火灾规模
论智
13+阅读 · 2018年5月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
【牛津大学博士论文】图机器学习的鲁棒性分析
专知会员服务
31+阅读 · 2024年4月30日
【牛津大学博士论文】抗规避攻击鲁棒学习的样本复杂度
机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
84+阅读 · 2022年3月19日
相关资讯
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
知识点 | 全面理解支持向量机
机器学习算法与Python学习
10+阅读 · 2019年1月2日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
【收藏】支持向量机原理详解+案例+代码!【点击阅读原文下载】
机器学习算法与Python学习
10+阅读 · 2018年9月13日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
使用随机森林分类器预测森林火灾规模
论智
13+阅读 · 2018年5月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员