This study proposes a domain-specific LLM-based Visual Explanation Evaluation Framework for assessing Grad-CAM explanations in facial skin disease diagnosis models. While previous studies have primarily focused on improving classification performance through data augmentation techniques, relatively few studies have systematically examined whether model explanations are grounded in clinically relevant lesion regions. In this study, geometric augmentation, color-based augmentation, and mixed augmentation strategies were applied to facial skin disease classification models based on EfficientNet-B0, MobileNetV3, and ResNet18. Grad-CAM was employed to generate visual explanations representing the models' decision-making processes. Furthermore, an LLM-as-a-Judge evaluation framework was designed using GPT-5.5, Gemini 3.5 Flash, and Claude Sonnet 4.6 to assess Grad-CAM explanations from the perspectives of lesion localization and explanation trustworthiness. To improve evaluation consistency and clinical grounding, a progressive prompt engineering strategy was introduced, incorporating evaluation rubrics, clinical knowledge, penalty rules, and structured output formats.


翻译:本研究提出了一种面向特定领域的基于大语言模型的可视化解释评估框架,用于评估面部皮肤病诊断模型中Grad-CAM解释的质量。以往研究主要聚焦于通过数据增强技术提升分类性能,但鲜有研究系统性地探讨模型解释是否基于临床相关的病变区域。本研究分别采用几何增强、颜色增强及混合增强策略,基于EfficientNet-B0、MobileNetV3和ResNet18构建面部皮肤病分类模型,并运用Grad-CAM生成反映模型决策过程的可视化解释。此外,本研究设计了基于GPT-5.5、Gemini 3.5 Flash及Claude Sonnet 4.6的“大语言模型作为裁判”(LLM-as-a-Judge)评估框架,从病变定位准确性与解释可信度两个维度对Grad-CAM解释进行评估。为提升评估一致性与临床依据性,本研究引入渐进式提示工程策略,融合评估准则、临床知识、惩罚规则及结构化输出格式。

0
下载
关闭预览

相关内容

大型语言模型(LLM)赋能的知识图谱构建:综述
专知会员服务
56+阅读 · 2025年10月24日
可解释人工智能中的大语言模型:全面综述
专知会员服务
54+阅读 · 2025年4月2日
可解释的机器学习模型和架构
专知会员服务
92+阅读 · 2023年9月17日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
【学界】从可视化到新模型:纵览深度学习的视觉可解释性
GAN生成式对抗网络
10+阅读 · 2018年3月4日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关资讯
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
【学界】从可视化到新模型:纵览深度学习的视觉可解释性
GAN生成式对抗网络
10+阅读 · 2018年3月4日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员