Generative virtual staining (VS) models for high-throughput screening (HTS) can provide an estimated posterior distribution of possible biological feature values for each input and cell. However, when evaluating a VS model, the true posterior is unavailable. Existing evaluation protocols only check the accuracy of the marginal distribution over the dataset rather than the predicted posteriors. We introduce information gain (IG) as a cell-wise evaluation framework that enables direct assessment of predicted posteriors. IG is a strictly proper scoring rule and comes with a sound theoretical motivation allowing for interpretability, and for comparing results across models and features. We evaluate diffusion- and GAN-based models on an extensive HTS dataset using IG and other metrics and show that IG can reveal substantial performance differences other metrics cannot.


翻译:用于高通量筛选的生成式虚拟染色模型能够为每个输入和细胞提供可能生物特征值的估计后验分布。然而,在评估虚拟染色模型时,真实后验分布并不可得。现有评估方案仅检查数据集上边缘分布的准确性,而非预测后验分布。我们引入信息增益作为细胞层面的评估框架,能够直接评估预测后验分布。信息增益是一种严格适当评分规则,具有可靠的理论基础,可实现结果可解释性,并支持跨模型和跨特征的比较。我们使用信息增益及其他指标在广泛的高通量筛选数据集上评估基于扩散和生成对抗网络的模型,结果表明信息增益能够揭示其他指标无法检测的显著性能差异。

0
下载
关闭预览

相关内容

“后验”是指在考虑与所审查的特定案件有关的相关证据之后。类似地,后验概率分布是未知量的概率分布,视从实验或调查获得的证据为条件,该未知量被视为随机变量。
【CIKM2024】使用大型视觉语言模型的多模态虚假信息检测
《深度伪造检测模型的准确性和鲁棒性》2023最新论文
专知会员服务
42+阅读 · 2023年10月29日
专知会员服务
36+阅读 · 2021年7月19日
浅谈最广泛应用的金融风控算法-评分卡
凡人机器学习
10+阅读 · 2020年8月3日
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
6+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
12+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
11+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
15+阅读 · 10月20日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员