Algorithms for computing equilibria, optima, and fixed points in nonconvex problems often depend sensitively on practitioner-chosen initial conditions. When uniqueness of a solution is of interest, a common heuristic is to run such algorithms from many randomly selected initial conditions and to interpret repeated convergence to the same output as evidence of a unique solution or a dominant basin of attraction. Despite its widespread use, this practice lacks a formal inferential foundation. We provide a simple probabilistic framework for interpreting such numerical evidence. First, we give sufficient conditions under which an algorithm's terminal output is a measurable function of its initial condition, allowing probabilistic reasoning over outcomes. Second, we provide sufficient conditions ensuring that an algorithm admits only finitely many possible terminal outcomes. While these conditions may be difficult to verify on a case-by-case basis, we give simple sufficient conditions for broad classes of problems under which almost all instances admit only finitely many outcomes (in the sense of prevalence). Standard algorithms such as gradient descent and damped fixed-point iteration applied to sufficiently smooth functions satisfy these conditions. Within this framework, repeated solver runs correspond to independent samples from the induced distribution over outcomes. We adopt a Bayesian approach to infer basin sizes and the probability of solution uniqueness from repeated identical outputs, and we establish convergence rates for the resulting posterior beliefs. Finally, we apply our framework to settings in the existing industrial organization literature, where random-restart heuristics are used. Our results formalize and qualify these arguments, clarifying when repeated convergence provides meaningful evidence for uniqueness and when it does not.


翻译:在非凸问题中计算均衡点、最优解及不动点的算法,其输出结果往往对研究者设定的初始条件极为敏感。当关注解的唯一性时,一种常见的启发式方法是:从大量随机选取的初始条件出发多次运行算法,并将重复收敛至同一输出结果的现象,视为存在唯一解或存在主导吸引域的证据。尽管这一做法被广泛采用,但其缺乏严谨的推断理论基础。本文提出了一个简单的概率框架,用于解释此类数值证据。首先,我们给出了算法终端输出是其初始条件可测函数的充分条件,从而允许对结果进行概率推理。其次,我们提供了确保算法仅存在有限个可能终端结果的充分条件。尽管这些条件在具体案例中可能难以逐一验证,但我们针对广泛的问题类别给出了简单的充分条件,使得在几乎所有的实例中(在普遍性意义下)仅存在有限个结果。应用于足够光滑函数的标准算法(如梯度下降法和阻尼不动点迭代法)均满足这些条件。在此框架下,多次求解器的运行对应于从结果诱导分布中抽取的独立样本。我们采用贝叶斯方法,从重复出现的相同输出中推断吸引域大小及解唯一性的概率,并建立了相应后验信念的收敛速率。最后,我们将所提框架应用于现有产业组织文献中采用随机重启启发式方法的若干场景。我们的研究结果对这些论证进行了形式化与限定,明确了重复收敛在何时能为唯一性提供有意义的证据,在何时则不能。

0
下载
关闭预览

相关内容

南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
专知会员服务
75+阅读 · 2020年12月7日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
【干货书】贝叶斯推断随机过程,449页pdf
专知
30+阅读 · 2020年8月27日
赛尔笔记 | Attention!注意力机制可解释吗?
哈工大SCIR
23+阅读 · 2019年9月27日
基于RASA的task-orient对话系统解析(一)
AINLP
16+阅读 · 2019年8月27日
激活函数还是有一点意思的!
计算机视觉战队
12+阅读 · 2019年6月28日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月18日
Arxiv
0+阅读 · 2月1日
VIP会员
相关资讯
【干货书】贝叶斯推断随机过程,449页pdf
专知
30+阅读 · 2020年8月27日
赛尔笔记 | Attention!注意力机制可解释吗?
哈工大SCIR
23+阅读 · 2019年9月27日
基于RASA的task-orient对话系统解析(一)
AINLP
16+阅读 · 2019年8月27日
激活函数还是有一点意思的!
计算机视觉战队
12+阅读 · 2019年6月28日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员