Skin cancer is among the most prevalent malignancies worldwiAdbe satnradcitts early detection is essential for improving patient survival and reducing treatment costs Conventional dermoscopic and visual imaging techniques are primarily limited to the visible spectrum and often fail to capture subtle spectral signatures associated with early stage malignancies This study proposes an innovative framework that integrates a multispectral metasurface for imaging with a hybrid deep learning architecture based on Convolutional Neural Networks and Vision Transformers The designed metasurface enables noninvasive acquisition of rich spectral information highly sensitive to tissue alterations while the hybrid CNN ViT model simultaneously extracts local and global features to robustly classify skin lesions Simulation-based evaluations demonstrate that the proposed method achieves approximately 98 accuracy 95 percentages sensitivity and 99 perentage specificity surpassing conventional RGB-based and single-architecture approaches Qualitative analyses using attention maps reveal that the model focuses on clinically relevant lesion regions improving interpretability Overall the results indicate that combining metasurface based multispectral imaging with hybrid deep learning can introduce a new generation of diagnostic tools in dermatology and pave the way for portable fast and highly accurate clinical systems


翻译:皮肤癌是全球最常见的恶性肿瘤之一,其早期检测对于提高患者生存率和降低治疗成本至关重要。传统的皮肤镜和视觉成像技术主要局限于可见光谱,往往无法捕捉与早期恶性肿瘤相关的细微光谱特征。本研究提出了一种创新框架,结合了用于成像的多光谱超表面与基于卷积神经网络和视觉Transformer的混合深度学习架构。所设计的超表面能够无创获取对组织变化高度敏感的丰富光谱信息,而混合CNN-ViT模型可同步提取局部和全局特征以稳健分类皮肤病变。基于仿真的评估表明,所提出的方法实现了约98%的准确率、95%的灵敏度及99%的特异性,超越了传统的RGB成像及单一架构方法。通过注意力图进行的定性分析显示,模型聚焦于临床相关病变区域,提升了可解释性。总体结果表明,结合基于超表面的多光谱成像与混合深度学习,可在皮肤科领域引入新一代诊断工具,并为便携、快速且高精度的临床系统奠定基础。

0
下载
关闭预览

相关内容

Brief Bioinform | 最新深度学习癌症药敏预测算法评测
专知会员服务
15+阅读 · 2023年1月9日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
深度学习在癌症诊断、预后和治疗选择中的应用
专知会员服务
56+阅读 · 2022年6月18日
医学图像关键点检测深度学习方法研究与挑战
专知会员服务
51+阅读 · 2022年4月10日
专知会员服务
33+阅读 · 2021年7月26日
专知会员服务
83+阅读 · 2021年2月16日
用手机检测皮肤癌
专知
12+阅读 · 2019年5月11日
肿瘤微环境评分: 预测肿瘤免疫治疗疗效的新方法
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员