We give a randomized online algorithm that guarantees near-optimal $\widetilde O(\sqrt T)$ expected swap regret against any sequence of $T$ adaptively chosen Lipschitz convex losses on the unit interval. This improves the previous best bound of $\widetilde O(T^{2/3})$ and answers an open question of Fishelson et al. [2025b]. In addition, our algorithm is efficient: it runs in $\mathsf{poly}(T)$ time. A key technical idea we develop to obtain this result is to discretize the unit interval into bins at multiple scales of granularity and simultaneously use all scales to make randomized predictions, which we call multi-scale binning and may be of independent interest. A direct corollary of our result is an efficient online algorithm for minimizing the calibration error for general elicitable properties. This result does not require the Lipschitzness assumption of the identification function needed in prior work, making it applicable to median calibration, for which we achieve the first $\widetilde O(\sqrt T)$ calibration error guarantee.


翻译:我们提出了一种随机在线算法,该算法针对单位区间上任意$T$个自适应选择的Lipschitz凸损失序列,保证具有近似最优的$\widetilde O(\sqrt T)$期望交换遗憾。这一结果改进了先前最佳的$\widetilde O(T^{2/3})$界限,并回答了Fishelson等人[2025b]提出的一个开放性问题。此外,我们的算法是高效的:其运行时间为$\mathsf{poly}(T)$。为达成此结果,我们开发的一个关键技术思想是将单位区间离散化为多个粒度尺度的区间,并同时利用所有尺度进行随机预测,我们称之为多尺度分箱法,该方法可能具有独立的研究价值。我们结果的一个直接推论是,为一般可引出性质提供了一种高效的在线算法以最小化校准误差。该结果无需先前工作中所需的识别函数的Lipschitz性假设,从而可应用于中位数校准,对此我们首次实现了$\widetilde O(\sqrt T)$的校准误差保证。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
ICLR 2024 | 近似最优的最大损失函数量子优化算法
专知会员服务
21+阅读 · 2024年2月23日
机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
84+阅读 · 2022年3月19日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
231+阅读 · 2020年6月5日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
ICLR 2024 | 近似最优的最大损失函数量子优化算法
专知会员服务
21+阅读 · 2024年2月23日
机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
84+阅读 · 2022年3月19日
【斯坦福】凸优化圣经- Convex Optimization (附730pdf下载)
专知会员服务
231+阅读 · 2020年6月5日
相关资讯
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
从最优化的角度看待 Softmax 损失函数
极市平台
31+阅读 · 2019年2月21日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员