Imaging and hyperspectral data analysis is central to progress across biology, medicine, chemistry, and physics. The core challenge lies in converting high-resolution or high-dimensional datasets into interpretable representations that enable insight into the underlying physical or chemical properties of a system. Traditional analysis relies on expert-designed, multistep workflows, such as denoising, feature extraction, clustering, dimensionality reduction, and physics-based deconvolution, or on machine learning (ML) methods that accelerate individual steps. Both approaches, however, typically demand significant human intervention, including hyperparameter tuning and data labeling. Achieving the next level of autonomy in scientific imaging requires designing effective reward-based workflows that guide algorithms toward best data representation for human or automated decision-making. Here, we discuss recent advances in reward-based workflows for image analysis, which capture key elements of human reasoning and exhibit strong transferability across various tasks. We highlight how reward-driven approaches enable a shift from supervised black-box models toward explainable, unsupervised optimization on the examples of Scanning Probe and Electron Microscopies. Such reward-based frameworks are promising for a broad range of applications, including classification, regression, structure-property mapping, and general hyperspectral data processing.


翻译:成像与高光谱数据分析是推动生物学、医学、化学及物理学进步的核心。关键挑战在于如何将高分辨率或高维数据集转化为可解释的表征,从而揭示系统潜在的物理或化学特性。传统分析方法依赖于专家设计的、多步骤的工作流程,例如去噪、特征提取、聚类、降维和基于物理原理的反卷积,或依赖于加速单个步骤的机器学习方法。然而,这两种方法通常都需要大量人工干预,包括超参数调整和数据标注。要在科学成像领域实现更高水平的自主性,需要设计有效的基于奖励的工作流程,以引导算法生成最适合人类或自动化决策的数据表征。本文讨论了基于奖励的图像分析工作流程的最新进展,这些流程捕捉了人类推理的关键要素,并在多种任务中展现出强大的可迁移性。我们以扫描探针显微镜和电子显微镜为例,重点阐述了奖励驱动方法如何推动从监督式黑盒模型向可解释的无监督优化转变。此类基于奖励的框架在分类、回归、结构-性能映射以及通用高光谱数据处理等广泛的应用领域中具有广阔前景。

0
下载
关闭预览

相关内容

从图像去噪到成像逆问题的正则化:综述
专知会员服务
13+阅读 · 2025年9月4日
视觉基础模型的可解释性:综述
专知会员服务
26+阅读 · 2025年1月24日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
【NeurIPS2023】半监督端到端对比学习用于时间序列分类
专知会员服务
36+阅读 · 2023年10月17日
专知会员服务
38+阅读 · 2021年10月14日
专知会员服务
74+阅读 · 2021年7月21日
【硬核书】数据科学,282页pdf
专知
26+阅读 · 2022年11月29日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
时空数据挖掘:综述
专知
36+阅读 · 2022年6月30日
深度学习图像检索(CBIR): 十年之大综述
专知
66+阅读 · 2020年12月5日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关VIP内容
从图像去噪到成像逆问题的正则化:综述
专知会员服务
13+阅读 · 2025年9月4日
视觉基础模型的可解释性:综述
专知会员服务
26+阅读 · 2025年1月24日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
【NeurIPS2023】半监督端到端对比学习用于时间序列分类
专知会员服务
36+阅读 · 2023年10月17日
专知会员服务
38+阅读 · 2021年10月14日
专知会员服务
74+阅读 · 2021年7月21日
相关资讯
【硬核书】数据科学,282页pdf
专知
26+阅读 · 2022年11月29日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
时空数据挖掘:综述
专知
36+阅读 · 2022年6月30日
深度学习图像检索(CBIR): 十年之大综述
专知
66+阅读 · 2020年12月5日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员