Simulated maximum likelihood is widely used in latent-variable models where likelihood evaluation requires intractable integrals or probabilities. With a fixed number of simulation draws, its estimating equation is generally biased. We develop Stochastic Approximation with Unbiased Simulated Scores (SAUSS), combining score simulation with stochastic gradient descent. The Hajivassiliou--McFadden identity, an instance of Fisher's identity, expresses the likelihood score as the conditional expectation of the complete-data score given the observed data. Exact conditional draws yield an unbiased simulated score for any fixed number of draws. The estimator averages stochastic gradient iterates computed using mini-batches of fixed size regardless of sample size, avoiding repeated full-sample likelihood evaluations. Under local regularity and initialization conditions, we establish asymptotic normality and a functional central limit theorem for the partial-sum process of the iterates under multi-pass sampling from an observed sample. These results support plug-in and random-scaling confidence intervals that remain asymptotically valid when algorithmic uncertainty is non-negligible relative to sampling uncertainty. We develop multinomial probit as a leading application. In simulations and two applications, SAUSS returns estimates in every reported run, including cases where the simulated maximum likelihood implementation returns none. When both return estimates, SAUSS gives comparable estimates in less time.


翻译:暂无翻译

0
下载
关闭预览

相关内容

不可错过!厦大《模式识别》课程,附Slides
专知会员服务
57+阅读 · 2023年6月30日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
用 LDA 和 LSA 两种方法来降维和做 Topic 建模
AI研习社
13+阅读 · 2018年8月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
46+阅读 · 2022年9月6日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
12+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
5+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员