A very common task in data visualization is to plot many data points with some measured y-value as a function of fixed x-values. Uncertainties on the y-values are typically presented as vertical error bars that represent either a Frequentist confidence interval or Bayesian credible interval for each data point. Most of the time, these error bars represent a 68\% confidence/credibility level, which leads to the intuition that a model fits the data reasonably well if its prediction lies within the error bars of roughly two thirds of the data points. Unfortunately, this and other intuitions no longer work when the uncertainties of the data points are correlated. If the error bars only show the square root of diagonal elements of some covariance matrix with non-negligible off-diagonal elements, we simply do not have enough information in the plot to judge whether a drawn model line agrees well with the data or not. In this paper we will demonstrate this problem and discuss ways to add more information to the plots to make it easier to judge the agreement between the data and some model prediction in the plot, as well as glean some insight where the model might be deficient. This is done by explicitly showing the contribution of the first principal component of the uncertainties, and by displaying the conditional uncertainties of all data points.


翻译:数据可视化中一项非常常见的任务,是绘制大量数据点,其中测得的y值作为固定x值的函数。y值的测量不确定性通常以垂直误差棒表示,代表每个数据点的频率学派置信区间或贝叶斯可信区间。多数情况下,这些误差棒代表68%的置信/可信水平,这导致了一种直观理解:若模型预测值落在约三分之二数据点的误差棒范围内,则模型与数据拟合良好。然而不幸的是,当数据点的不确定性存在相关性时,该直观判断及其他类似方法均不再适用。若误差棒仅显示某协方差矩阵对角元素的平方根,而该矩阵的非对角元素不可忽略,则我们无法从图中获取足够信息来判断绘制的模型曲线与数据是否一致。本文将以该问题为切入点,探讨如何在图中添加更多信息以更便捷地判断数据与模型预测的一致性,并从中洞察模型可能存在的缺陷。具体方法包括显式展示不确定性第一主成分的贡献,以及显示所有数据点的条件不确定性。

0
下载
关闭预览

相关内容

【干货书】概率风险分析与贝叶斯决策理论,123页pdf
专知会员服务
56+阅读 · 2023年7月17日
【博士论文】大数据相似查询关键技术研究
专知会员服务
24+阅读 · 2021年12月2日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
【资源】图像分割/显著性检测数据集列表
专知
13+阅读 · 2019年5月22日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
相关性≠因果:概率图模型和do-calculus
论智
31+阅读 · 2018年10月29日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
0+阅读 · 5月4日
Arxiv
0+阅读 · 4月2日
Arxiv
10+阅读 · 2024年3月11日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
7+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员