Learning curves are a fundamental primitive in supervised learning, describing how an algorithm's performance improves with more data and providing a quantitative measure of its generalization ability. Formally, a learning curve plots the decay of an algorithm's error for a fixed underlying distribution as a function of the number of training samples. Prior work on revenue-maximizing learning algorithms, starting with the seminal work of Cole and Roughgarden [STOC, 2014], adopts a distribution-free perspective, which parallels the PAC learning framework in learning theory. This approach evaluates performance against the hardest possible sequence of valuation distributions, one for each sample size, effectively defining the upper envelope of learning curves over all possible distributions, thus leading to error bounds that do not capture the shape of the learning curves. In this work we initiate the study of learning curves for revenue maximization and provide a near-complete characterization of their rate of decay in the basic setting of a single item and a single buyer. In the absence of any restriction on the valuation distribution, we show that there exists a Bayes-consistent algorithm, meaning that its learning curve converges to zero for any arbitrary valuation distribution as the number of samples $n \to \infty$. However, this convergence must be arbitrarily slow, even if the optimal revenue is finite. In contrast, if the optimal revenue is achieved by a finite price, then the optimal rate of decay is roughly $1/\sqrt{n}$. Finally, for distributions supported on discrete sets of values, we show that learning curves decay almost exponentially fast, a rate unattainable under the PAC framework.


翻译:学习曲线是监督学习中的基本概念,它描述了算法性能如何随数据增加而提升,并为其泛化能力提供了定量度量。形式上,学习曲线绘制了算法针对固定潜在分布的误差衰减情况,该误差是训练样本数量的函数。关于收益最大化学习算法的先前研究始于Cole和Roughgarden的经典工作(STOC, 2014),采用了独立于分布的视角,这与学习理论中的PAC学习框架相呼应。该方法评估算法在面对所有可能分布中最困难的估值序列时的性能(每个样本大小对应一个分布),实际上定义了所有可能分布下学习曲线的上包络线,从而导致无法捕捉学习曲线形状的误差界。本文首次对收益最大化的学习曲线进行研究,并在单一物品和单一买家的基本设置中近乎完整地表征了其衰减速率。在没有对估值分布施加任何限制的情况下,我们证明存在一个贝叶斯一致算法,即对于任意估值分布,当样本数量$n \to \infty$时,其学习曲线收敛到零。然而,即便最优收益是有限的,这种收敛也必然任意缓慢。相比之下,如果最优收益由有限价格实现,则最优衰减速率约为$1/\sqrt{n}$。最后,对于支撑集为离散值集合的分布,我们证明学习曲线几乎以指数级速度衰减,这一速率在PAC框架下无法实现。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
【普林斯顿博士论文】在线学习:优化、控制与学习理论
专知会员服务
31+阅读 · 2025年10月19日
【经典书】在线学习与在线凸优化,90页pdf
专知会员服务
59+阅读 · 2021年10月10日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
【MIT博士论文】数据高效强化学习,176页pdf
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
Machine Learning:十大机器学习算法
开源中国
21+阅读 · 2018年3月1日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Arxiv
0+阅读 · 6月14日
Arxiv
0+阅读 · 4月24日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 22分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 24分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
2+阅读 · 36分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 56分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
【普林斯顿博士论文】在线学习:优化、控制与学习理论
专知会员服务
31+阅读 · 2025年10月19日
【经典书】在线学习与在线凸优化,90页pdf
专知会员服务
59+阅读 · 2021年10月10日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员