Early detection of oral cancer and potentially malignant diseases is a major challenge in low-resource settings due to the scarcity of annotated data. We provide a unified approach for four-class oral lesion classification that incorporates deep learning, spectral analysis, and demographic data. A pathologist-verified subset of oral cavity images was curated from a publicly available dataset. Oral cavity pictures were processed using a fine-tuned ConvNeXt-v2 network for deep embeddings before being translated into the hyperspectral domain using a reconstruction algorithm. Haemoglobin-sensitive, textural, and spectral descriptors were obtained from the reconstructed hyperspectral cubes and combined with demographic data. Multiple machine-learning models were evaluated using patient-specific validation. Finally, an incremental heuristic meta-learner (IHML) was developed that merged calibrated base classifiers via probabilistic feature stacking and uncertainty-aware abstraction of multimodal representations with patient-level smoothing. By decoupling evidence extraction from decision fusion, IHML stabilizes predictions in heterogeneous, small-sample medical datasets. On an unseen test set, our proposed model achieved a macro F1 of 66.23% and an overall accuracy of 64.56%. The findings demonstrate that RGB-to-hyperspectral reconstruction and ensemble meta-learning improve diagnostic robustness in real-world oral lesion screening.


翻译:在低资源环境中,由于标注数据稀缺,口腔癌及潜在恶性疾病的早期检测是一项重大挑战。本文提出了一种融合深度学习、光谱分析和人口统计学数据的四类口腔病灶分类统一方法。我们从公开数据集中筛选出经病理学家验证的口腔图像子集。口腔图像首先通过微调的ConvNeXt-v2网络提取深度嵌入特征,随后利用重建算法将其转换至高光谱域。从重建的高光谱立方体中提取血红蛋白敏感特征、纹理特征和光谱描述符,并与人口统计学数据相结合。采用患者特异性验证策略评估了多种机器学习模型。最终,我们提出了一种增量启发式元学习器(IHML),该模型通过概率特征堆叠与多模态表征的不确定性感知抽象,结合患者级平滑技术,融合了经过校准的基础分类器。IHML通过将证据提取与决策融合解耦,稳定了异构小样本医学数据集中的预测结果。在未见测试集上,我们提出的模型取得了66.23%的宏F1分数和64.56%的总准确率。研究结果表明,RGB至高光谱重建与集成元学习方法能够提升实际口腔病灶筛查中的诊断鲁棒性。

0
下载
关闭预览

相关内容

Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
多模态深度学习在生物医学数据融合中的应用研究进展
专知会员服务
62+阅读 · 2022年5月31日
人工智能技术在口腔正畸诊疗中的应用研究进展
专知会员服务
14+阅读 · 2022年5月1日
【北理&哈佛】图多模态学习的疾病关系提取
专知会员服务
33+阅读 · 2022年4月15日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
【AI与医学】多模态机器学习精准医疗健康
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
乌克兰前线的五项创新
专知会员服务
1+阅读 · 今天6:14
 军事通信系统与设备的技术演进综述
专知会员服务
1+阅读 · 今天5:59
《北约标准:医疗评估手册》174页
专知会员服务
1+阅读 · 今天5:51
《提升生成模型的安全性与保障》博士论文
专知会员服务
0+阅读 · 今天5:47
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
9+阅读 · 4月19日
澳大利亚发布《国防战略(2026年)》
专知会员服务
4+阅读 · 4月19日
全球高超音速武器最新发展趋势
专知会员服务
3+阅读 · 4月19日
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员