Conditional Value-at-Risk ($\mathrm{CV@R}$) is one of the most popular measures of risk, which has been recently considered as a performance criterion in supervised statistical learning, as it is related to desirable operational features in modern applications, such as safety, fairness, distributional robustness, and prediction error stability. However, due to its variational definition, $\mathrm{CV@R}$ is commonly believed to result in difficult optimization problems, even for smooth and strongly convex loss functions. We disprove this statement by establishing noisy (i.e., fixed-accuracy) linear convergence of stochastic gradient descent for sequential $\mathrm{CV@R}$ learning, for a large class of not necessarily strongly-convex (or even convex) loss functions satisfying a set-restricted Polyak-Lojasiewicz inequality. This class contains all smooth and strongly convex losses, confirming that classical problems, such as linear least squares regression, can be solved efficiently under the $\mathrm{CV@R}$ criterion, just as their risk-neutral versions. Our results are illustrated numerically on such a risk-aware ridge regression task, also verifying their validity in practice.


翻译:条件值( mathrm{ CV@ R} $) 是风险最流行的衡量标准之一, 最近被认为是监督统计学习的一项业绩标准, 因为它与现代应用中安全、 公平、 分配稳健性和 预测错误稳定性等可取的操作性有关。 然而, 由于其定义不同, $\ mathrm{ CV@ R} 通常被认为会导致难以优化的问题, 甚至对于平稳和强烈的 convex 损失功能来说也是如此。 我们通过在连续的 $\ mathrm{ CV@R} 学习中确立随机梯度梯度的线性趋同( 即, 固定的- 准确性) 来反驳这一说法, 因为它与现代应用中的安全性、 公平性、 分布性强、 和 预测性错误稳定性有关。 但是, 由于其定义不同, $lmathrm{ CV@R} leveloplegations regresulationality expractive expractive express asure asureal express as.

0
下载
关闭预览

相关内容

随机梯度下降,按照数据生成分布抽取m个样本,通过计算他们梯度的平均值来更新梯度。
专知会员服务
52+阅读 · 2020年12月14日
专知会员服务
47+阅读 · 2020年10月31日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
47+阅读 · 2020年1月23日
专知会员服务
162+阅读 · 2020年1月16日
已删除
将门创投
3+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Arxiv
1+阅读 · 2021年3月12日
VIP会员
最新内容
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
0+阅读 · 今天15:20
美空军新型反无人机部队初探
专知会员服务
4+阅读 · 今天5:45
《防空交战流程的概率建模研究》
专知会员服务
6+阅读 · 今天5:04
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
4+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
8+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关资讯
已删除
将门创投
3+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Top
微信扫码咨询专知VIP会员