Support vector regression with Mean Absolute Percentage Error (MAPE) loss is theoretically well-motivated for forecasting applications where accuracy is evaluated in relative terms, but the sample-dependent dual box constraints it induces have not been addressed in the published SMO literature. We derive a Sequential Minimal Optimization algorithm for this setting and prove a structural-invariance result: the MAPE modification affects exactly two components of the SMO iteration -- working-set selection and analytic-update clipping -- leaving gradient bookkeeping and curvature computation identical to classical epsilon-SVR. Building on this invariance, we establish four efficiency improvements (asymmetric freeze-counters, warm-starting, block working-set updates of size four, and per-pair tolerance scaling) and resolve a previously-open convergence problem for the odd-symmetry kernel variant via adaptive spectral regularization. Numerical validation against three reference solvers across eleven synthetic configurations certifies solution agreement within standard tolerance. Wall-time benchmarks show the present algorithm achieves the lowest median runtime on every tested configuration against OSQP, MOSEK, and Clarabel. At production scale, the algorithm converges on the California Housing benchmark while the patched LIBSVM reference implementation reaches its iteration ceiling without satisfying optimality -- demonstrating the practical necessity of the theoretical efficiency mechanisms. An open-source R package and an explicit solver-adaptation recipe are provided.


翻译:平均绝对百分比误差(MAPE)损失的支持向量回归在相对精度评估的预测应用中具有坚实的理论动机,但其所引发的样本相关对偶盒约束至今未在已发表的SMO文献中得到解决。我们针对该设定推导出一种序列最小优化算法,并证明了一个结构不变性结果:MAPE修改仅影响SMO迭代中的两个组件——工作集选择与解析更新裁剪——而梯度记录与曲率计算则与经典$\varepsilon$-SVR完全相同。基于此不变性,我们提出了四项效率改进(非对称冻结计数器、热启动、大小为四的块工作集更新以及逐对容差缩放),并通过自适应谱正则化解决了奇对称核变体中一个此前未解决的收敛问题。与三个参考求解器在11种合成配置上的数值验证确保了在标准容差范围内解的一致性。墙钟时间对比表明,本算法在OSQP、MOSEK和Clarabel的每个测试配置上都实现了最低中位数运行时间。在生产规模下,本算法在California Housing基准上收敛,而经补丁的LIBSVM参考实现达到迭代上限时仍未满足最优性——这证明了理论效率机制的实际必要性。我们还提供了一个开源R包与显式求解器适配方案。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
【EMNLP2025】面向大语言模型的权重旋转偏好优化
专知会员服务
12+阅读 · 2025年8月27日
【NeurIPS2024】通过方差减少实现零样本模型的稳健微调
专知会员服务
19+阅读 · 2024年11月12日
基于解耦的小样本目标检测方法研究
专知会员服务
19+阅读 · 2024年9月19日
ICLR 2024 | 近似最优的最大损失函数量子优化算法
专知会员服务
21+阅读 · 2024年2月23日
基于图神经网络的小样本学习方法研究进展
专知会员服务
44+阅读 · 2023年11月18日
【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
70+阅读 · 2020年10月6日
综述 | SLAM回环检测方法
计算机视觉life
16+阅读 · 2019年8月19日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
对抗环境下超视距目标打击的情报支援
专知会员服务
8+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
8+阅读 · 7月20日
相关VIP内容
【EMNLP2025】面向大语言模型的权重旋转偏好优化
专知会员服务
12+阅读 · 2025年8月27日
【NeurIPS2024】通过方差减少实现零样本模型的稳健微调
专知会员服务
19+阅读 · 2024年11月12日
基于解耦的小样本目标检测方法研究
专知会员服务
19+阅读 · 2024年9月19日
ICLR 2024 | 近似最优的最大损失函数量子优化算法
专知会员服务
21+阅读 · 2024年2月23日
基于图神经网络的小样本学习方法研究进展
专知会员服务
44+阅读 · 2023年11月18日
【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
70+阅读 · 2020年10月6日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员