We propose a new convex loss for Support Vector Machines, both for the binary classification and for the regression models. Therefore, we show the mathematical derivation of the dual problems and we experiment with them on several small datasets. The minimal dimension of those datasets is due to the difficult scalability of the SVM method to bigger instances. This preliminary study should prove that using pattern correlations inside the loss function could enhance the generalisation performances. Our method consistently achieved comparable or superior performance, with improvements of up to 2.0% in F1 scores for classification tasks and 1.0% reduction in Mean Squared Error (MSE) for regression tasks across various datasets, compared to standard losses. Coherently, results show that generalisation measures are never worse than the standard losses and several times they are better. In our opinion, it should be considered a careful study of this loss, coupled with shallow and deep neural networks. In fact, we present some novel results obtained with those architectures.


翻译:本文针对支持向量机的二分类与回归模型,提出了一种新的凸损失函数。为此,我们展示了其对偶问题的数学推导,并在多个小型数据集上进行了实验。选择这些小型数据集是由于支持向量机方法难以扩展至更大规模实例。此项初步研究旨在证明,在损失函数中利用模式相关性可提升泛化性能。与标准损失函数相比,我们的方法在多个数据集上始终取得相当或更优的性能:在分类任务中F1分数最高提升2.0%,在回归任务中均方误差(MSE)最高降低1.0%。结果一致表明,其泛化度量从不逊于标准损失函数,且多次表现更优。我们认为,有必要结合浅层与深度神经网络对此损失函数展开深入研究。事实上,我们已利用这些架构获得了一些新的结果。

0
下载
关闭预览

相关内容

机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
84+阅读 · 2022年3月19日
专知会员服务
42+阅读 · 2021年4月2日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
231+阅读 · 2020年6月5日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
知识点 | 全面理解支持向量机
机器学习算法与Python学习
10+阅读 · 2019年1月2日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
【收藏】支持向量机原理详解+案例+代码!【点击阅读原文下载】
机器学习算法与Python学习
10+阅读 · 2018年9月13日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
动手写机器学习算法:SVM支持向量机(附代码)
七月在线实验室
12+阅读 · 2017年12月5日
【直观详解】支持向量机SVM
机器学习研究会
18+阅读 · 2017年11月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Arxiv
0+阅读 · 1月15日
VIP会员
相关资讯
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
知识点 | 全面理解支持向量机
机器学习算法与Python学习
10+阅读 · 2019年1月2日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
【收藏】支持向量机原理详解+案例+代码!【点击阅读原文下载】
机器学习算法与Python学习
10+阅读 · 2018年9月13日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
动手写机器学习算法:SVM支持向量机(附代码)
七月在线实验室
12+阅读 · 2017年12月5日
【直观详解】支持向量机SVM
机器学习研究会
18+阅读 · 2017年11月8日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员