Aiming to advance research in the field of interpretability of deep learning models for tree species classification using TLS 3D point clouds we present insights in the classification abilities of YOLOv8 through a new framework which enables systematic analysis of saliency maps derived from CAM (Class Activation Mapping). To investigate the contribution of structural tree features to the classification decisions of the models, we link regions with high saliency derived from the application of Finer-CAM to segments of 2D side-view images that correspond to structural tree features. Using TLS 3D point clouds from 2445 trees across seven European tree species, we trained five YOLOv8 models with cross-validation, reaching a mean accuracy of 96% (SD = 0.24%) when applied to the test data. Our results demonstrate that Finer-CAM can be considered faithful in identifying discriminative regions that discriminate target tree species. This renders Finer-CAM suitable for enhancing the interpretability of the tree species classification models. Analysis of 630 saliency maps indicate that the models primarily rely on image regions associated with tree crowns for species classification. While this result is pronounced in Silver Birch, European Beech, English oak, and Norway Spruce, image regions associated with stems contribute more frequently to the differentiation of European ash, Scots pine, and Douglas-fir. We demonstrate that the visibility of detailed structural tree features in the 2D side-view images enhances the discriminative performances of the models, indicating YOLOv8`s abilities to leverage detailed point cloud representations. Our results represent a first step toward enhancing the understanding of the classification decision processes of tree species classification models, aiding in the identification of data set and model limitations, and building confidence in model predictions.


翻译:为推进基于TLS三维点云的深度学习模型在树种分类可解释性领域的研究,本文通过构建新型分析框架,系统解析源自CAM(类别激活映射)的显著性图谱,从而揭示YOLOv8模型的分类能力。为探究树木结构特征对模型分类决策的贡献度,我们将Finer-CAM生成的高显著性区域与对应树木结构特征的二维侧视图像片段进行关联分析。基于覆盖七种欧洲树种的2445棵树木的TLS三维点云数据,我们通过交叉验证训练了五个YOLOv8模型,在测试数据上达到平均96%(标准差=0.24%)的分类准确率。实验结果表明,Finer-CAM能可靠识别区分目标树种的关键判别区域,这使其适用于增强树种分类模型的可解释性。对630幅显著性图谱的分析表明,模型主要依赖树冠关联图像区域进行树种分类。该特征在银桦、欧洲山毛榉、英国栎和挪威云杉中表现显著,而欧洲白蜡树、欧洲赤松和花旗松的判别则更频繁地依赖于树干关联图像区域。我们证明二维侧视图像中树木细节结构特征的可见性能够提升模型的判别性能,这表明YOLOv8具备利用精细点云表征的能力。本研究为深入理解树种分类模型的决策机制迈出关键一步,有助于识别数据集与模型的局限性,并为提升模型预测的可信度奠定基础。

0
下载
关闭预览

相关内容

根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。 根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB)。 结合激光测量和摄影测量原理得到点云,包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。 在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,称之为“点云”(Point Cloud)
YOLOv1 到 YOLOv10:最快且最准确的实时目标检测系统
专知会员服务
42+阅读 · 2024年8月22日
人工智能(XAI)可解释性的研究进展!
专知会员服务
9+阅读 · 2024年6月12日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
美/以-伊战争:停火与后续情景与影响分析
专知会员服务
3+阅读 · 4月11日
美国-以色列-伊朗战争:是否会动用地面部队?
美国协同作战飞机项目新型无人机发动机
专知会员服务
1+阅读 · 4月11日
无人机在美以伊战争中的关键启示(印度视角)
相关VIP内容
YOLOv1 到 YOLOv10:最快且最准确的实时目标检测系统
专知会员服务
42+阅读 · 2024年8月22日
人工智能(XAI)可解释性的研究进展!
专知会员服务
9+阅读 · 2024年6月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员