Oral cancer is frequently diagnosed at later stages due to its similarity to other lesions. Existing research on computer aided diagnosis has made progress using deep learning; however, most approaches remain limited by small, imbalanced datasets and a dependence on single-modality features, which restricts model generalization in real-world clinical settings. To address these limitations, this study proposes a novel data-augmentation driven multimodal feature-fusion framework integrated within a (Vision Recognition)VR assisted oral cancer recognition system. Our method combines extensive data centric augmentation with fused clinical and image-based representations to enhance model robustness and reduce diagnostic ambiguity. Using a stratified training pipeline and an EfficientNetV2 B1 backbone, the system improves feature diversity, mitigates imbalance, and strengthens the learned multimodal embeddings. Experimental evaluation demonstrates that the proposed framework achieves an overall accuracy of 82.57 percent on 2 classes, 65.13 percent on 3 classes, and 54.97 percent on 4 classes, outperforming traditional single stream CNN models. These results highlight the effectiveness of multimodal feature fusion combined with strategic augmentation for reliable early oral cancer lesion recognition and serve as a foundation for immersive VR based clinical decision support tools.


翻译:口腔癌因其与其他病变的相似性,常在晚期才被诊断。现有计算机辅助诊断研究利用深度学习已取得进展;然而,大多数方法仍受限于小型、不平衡的数据集以及对单模态特征的依赖,这限制了模型在真实临床环境中的泛化能力。为解决这些局限,本研究提出一种新颖的数据增强驱动的多模态特征融合框架,并将其集成于(视觉识别)VR辅助的口腔癌识别系统中。我们的方法结合了以数据为中心的大规模增强与融合的临床及基于图像的表征,以增强模型鲁棒性并减少诊断歧义。通过采用分层训练流程和EfficientNetV2 B1主干网络,该系统提升了特征多样性,缓解了数据不平衡问题,并强化了学习到的多模态嵌入。实验评估表明,所提框架在2分类任务上达到82.57%的整体准确率,在3分类任务上达到65.13%,在4分类任务上达到54.97%,性能优于传统的单流CNN模型。这些结果凸显了多模态特征融合与策略性数据增强相结合对于实现可靠早期口腔癌病变识别的有效性,并为基于沉浸式VR的临床决策支持工具奠定了基础。

0
下载
关闭预览

相关内容

深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
深度学习在癌症诊断、预后和治疗选择中的应用
专知会员服务
56+阅读 · 2022年6月18日
多模态深度学习在生物医学数据融合中的应用研究进展
专知会员服务
62+阅读 · 2022年5月31日
人工智能技术在口腔正畸诊疗中的应用研究进展
专知会员服务
14+阅读 · 2022年5月1日
【AI与医学】多模态机器学习精准医疗健康
专知会员服务
82+阅读 · 2022年4月25日
【AI与医学】多模态机器学习精准医疗健康
基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
专家报告 | 融合数据先验知识的智能图像增强
中国图象图形学报
16+阅读 · 2020年5月25日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
深度学习在癌症诊断、预后和治疗选择中的应用
专知会员服务
56+阅读 · 2022年6月18日
多模态深度学习在生物医学数据融合中的应用研究进展
专知会员服务
62+阅读 · 2022年5月31日
人工智能技术在口腔正畸诊疗中的应用研究进展
专知会员服务
14+阅读 · 2022年5月1日
【AI与医学】多模态机器学习精准医疗健康
专知会员服务
82+阅读 · 2022年4月25日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员