We study calibeating, the problem of post-processing external forecasts online to minimize cumulative losses and match an informativeness-based benchmark. Unlike prior work, which analyzed calibeating for specific losses with specific arguments, we reduce calibeating to existing online learning techniques and obtain results for general proper losses. More concretely, we first show that calibeating is minimax-equivalent to regret minimization. This recovers the $O(\log T)$ calibeating rate of Foster and Hart [FH23] for the Brier and log losses and its optimality, and yields new optimal calibeating rates for mixable losses and general bounded losses. Second, we prove that multi-calibeating is minimax-equivalent to the combination of calibeating and the classical expert problem. This yields new optimal multi-calibeating rates for mixable losses, including Brier and log losses, and general bounded losses. Finally, we obtain new bounds for achieving calibeating and calibration simultaneously for the Brier loss. For binary predictions, our result gives the first calibrated algorithm that at the same time also achieves the optimal $O(\log T)$ calibeating rate.


翻译:我们研究校准校准(calibeating)问题,即在线后处理外部预测以最小化累积损失并匹配基于信息量的基准。与以往针对特定损失使用特定参数分析校准校准的工作不同,我们将校准校准归约为现有的在线学习技术,并获得了针对一般真损失(proper losses)的结果。具体而言,我们首先证明校准校准在极小极大意义上等价于遗憾最小化(regret minimization)。这恢复了Foster和Hart [FH23]针对Brier损失和对数损失得出的$O(\log T)$校准校准率及其最优性,并为可混合损失(mixable losses)和一般有界损失(general bounded losses)提供了新的最优校准校准率。其次,我们证明多校准校准(multi-calibeating)在极小极大意义上等价于校准校准与经典专家问题(expert problem)的组合。这为可混合损失(包括Brier损失和对数损失)以及一般有界损失提供了新的最优多校准校准率。最后,我们获得了针对Brier损失同时实现校准校准和校准的新界限。对于二元预测,我们的结果首次给出了同时达到最优$O(\log T)$校准校准率的校准算法。

0
下载
关闭预览

相关内容

【经典书】在线学习与在线凸优化,90页pdf
专知会员服务
59+阅读 · 2021年10月10日
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
线性回归:简单线性回归详解
专知
12+阅读 · 2018年3月10日
推荐|caffe-orc主流ocr算法:CNN+BLSTM+CTC架构实现!
全球人工智能
19+阅读 · 2017年10月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月24日
Arxiv
0+阅读 · 4月22日
Arxiv
0+阅读 · 3月28日
Arxiv
0+阅读 · 3月20日
VIP会员
最新内容
ICML2026 | 重新思考顺序知识编辑中的正则化
专知会员服务
4+阅读 · 5月27日
《用于兵力发展选项优先排序的成本效益模型》
AutoResearch AI综述:迈向AI驱动的科学发现自动化
《Palantir边缘人工智能》手册
专知会员服务
23+阅读 · 5月26日
美军“国防自主作战群”(DAWG)概念解析
专知会员服务
5+阅读 · 5月26日
“史诗怒火”行动中的无人机与反无人机作战
专知会员服务
17+阅读 · 5月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员