Stochastic simulation is widely used to study complex systems composed of various interconnected subprocesses, such as input processes, routing and control logic, optimization routines, and data-driven decision modules. In practice, these subprocesses may be inherently unknown or too computationally intensive to directly embed in the simulation model. Replacing these elements with estimated or learned approximations introduces a form of epistemic uncertainty that we refer to as submodel uncertainty. This paper investigates how submodel uncertainty affects the estimation of system performance metrics. We develop a framework for quantifying submodel uncertainty in stochastic simulation models and extend the framework to digital-twin settings, where simulation experiments are repeatedly conducted with the model initialized from observed system states. Building on approaches from input uncertainty analysis, we leverage bootstrapping and Bayesian model averaging to construct quantile-based confidence or credible intervals for key performance indicators. We propose a tree-based method that decomposes total output variability and attributes uncertainty to individual submodels in the form of importance scores. The proposed framework is model-agnostic and accommodates both parametric and nonparametric submodels under frequentist and Bayesian modeling paradigms. A synthetic numerical experiment and a more realistic digital-twin simulation of a contact center illustrate the importance of understanding how and how much individual submodels contribute to overall uncertainty.


翻译:随机仿真被广泛用于研究由各种相互关联的子过程组成的复杂系统,例如输入过程、路由与控制逻辑、优化例程以及数据驱动的决策模块。在实践中,这些子过程可能本质上是未知的,或者计算量过大而无法直接嵌入仿真模型。用估计或学习的近似值替换这些元素会引入一种认知不确定性,我们称之为子模型不确定性。本文研究了子模型不确定性如何影响系统性能指标的估计。我们开发了一个量化随机仿真模型中子模型不确定性的框架,并将该框架扩展到数字孪生场景——在此场景中,仿真实验会反复进行,且模型从观测到的系统状态初始化。基于输入不确定性分析的方法,我们利用自助法和贝叶斯模型平均,为关键性能指标构建基于分位数的置信区间或可信区间。我们提出了一种基于树的方法,该方法能分解总输出变异性,并以重要性评分的形式将不确定性归因于各个子模型。所提出的框架与模型无关,可容纳频率学派和贝叶斯建模范式下的参数化与非参数化子模型。一个合成数值实验和一个更贴近现实的呼叫中心数字孪生仿真,说明了理解各个子模型如何以及在多大程度上贡献于总体不确定性的重要性。

0
下载
关闭预览

相关内容

【博士论文】统计学习中的可靠不确定性量化,128页pdf
专知会员服务
45+阅读 · 2023年11月23日
【2023新书】随机模型基础,815页pdf
专知会员服务
105+阅读 · 2023年5月10日
【经典书】随机矩阵理论与无线网络,186和pdf
专知会员服务
52+阅读 · 2021年12月21日
专知会员服务
48+阅读 · 2021年7月2日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员