Near-infrared spectroscopy (NIRS) is rapid and non-destructive, but reliable calibration still depends heavily on spectral preprocessing. In routine practice, preprocessing is often selected by large external pipeline searches that are costly, unstable on small calibration sets, and difficult to audit. We introduce operator-adaptive calibration, a framework that moves linear preprocessing selection inside the calibration model. Candidate treatments are encoded as linear spectral operators, while nonlinear or sample-adaptive corrections such as SNV, MSC, and ASLS are handled as fold-local branches to prevent leakage. We instantiate the framework for PLS and Ridge regression. For PLS, covariance identities enable fast NIPALS and SIMPLS variants while preserving original-wavelength coefficients. For Ridge, operator-adaptive kernels yield a dual formulation with recoverable original-space coefficients. The approach was evaluated on more than 50 heterogeneous NIRS datasets against conventional PLS, Ridge, CatBoost, and CNN baselines under documented search budgets. Compact operator-adaptive PLS with ASLS branch preprocessing achieved a median RMSEP/PLS ratio of 0.960 with 42 wins on 57 datasets, while a deployable AOM-Ridge selector improved over tuned Ridge by a median 2.22% with 35 wins on 52 datasets. The proposed models reduce dependence on large preprocessing-HPO campaigns, produce traceable operator choices, retain interpretable coefficients, and fit in seconds for compact AOM-PLS. Operator-adaptive calibration therefore offers a practical route to faster, more robust, and more auditable NIRS method development.


翻译:近红外光谱技术快速无损,但其可靠校准仍高度依赖光谱预处理。常规实践中,预处理通常通过大规模外部流水线搜索进行选择,这种方法成本高昂、在小校准集上不稳定且难以审计。我们提出操作者自适应校准框架,将线性预处理选择移至校准模型内部。候选处理被编码为线性光谱操作器,而SNV、MSC及ASLS等非线性或样本自适应校正则作为折叠局部分支处理以避免数据泄露。我们针对偏最小二乘回归与岭回归实现了该框架。对于偏最小二乘回归,协方差恒等式在保留原始波长系数的同时实现了快速NIPALS和SIMPLS变体;对于岭回归,操作者自适应核函数衍生出可恢复原始空间系数的对偶公式。该方法在超过50个异质性近红外光谱数据集上,与常规偏最小二乘回归、岭回归、CatBoost及CNN基线模型在文档化搜索预算下进行了评估。带有ASLS分支预处理的紧凑型操作者自适应偏最小二乘回归在57个数据集中取得42次优胜,中位RMSEP/PLS比值为0.960;而可部署的AOM-Ridge选择器在52个数据集中较调优岭回归提升2.22%,取得35次优胜。所提模型降低了对大规模预处理-超参数优化组合搜索的依赖,产生可追溯的操作者选择,保留可解释系数,且紧凑型AOM-PLS可在数秒内完成拟合。操作者自适应校准因此为开发更快速、更稳健且更易审计的近红外光谱方法提供了实用途径。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
基于图神经网络的高光谱图像分类研究进展
专知会员服务
31+阅读 · 2023年10月8日
《深度学习医学图像配准》综述进展
专知会员服务
49+阅读 · 2022年5月9日
专知会员服务
31+阅读 · 2021年9月23日
专知会员服务
34+阅读 · 2021年7月25日
专知会员服务
123+阅读 · 2020年12月9日
综述 | 图像配准 Image registration
计算机视觉life
19+阅读 · 2019年9月12日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
一文概览基于深度学习的超分辨率重建架构
红外弱小目标处理研究获进展
中科院之声
18+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
2+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员