Accurate characterization of carbon nanotube morphologies in electron microscopy images is vital for exposure assessment and toxicological studies, yet current workflows rely on slow, subjective manual segmentation. This work presents a unified framework leveraging vision foundation models to automate the quantification and classification of CNTs in electron microscopy images. First, we introduce an interactive quantification tool built on the Segment Anything Model (SAM) that segments particles with near-perfect accuracy using minimal user input. Second, we propose a novel classification pipeline that utilizes these segmentation masks to spatially constrain a DINOv2 vision transformer, extracting features exclusively from particle regions while suppressing background noise. Evaluated on a dataset of 1,800 TEM images, this architecture achieves 95.5% accuracy in distinguishing between four different CNT morphologies, significantly outperforming the current baseline despite using a fraction of the training data. Crucially, this instance-level processing allows the framework to resolve mixed samples, correctly classifying distinct particle types co-existing within a single field of view. These results demonstrate that integrating zero-shot segmentation with self-supervised feature learning enables high-throughput, reproducible nanomaterial analysis, transforming a labor-intensive bottleneck into a scalable, data-driven process.


翻译:电子显微图像中碳纳米管形貌的精确表征对于暴露评估和毒理学研究至关重要,然而现有工作流程依赖于缓慢且主观的手动分割。本研究提出一个统一框架,利用视觉基础模型实现电子显微图像中碳纳米管的自动化定量与分类。首先,我们基于Segment Anything Model(SAM)开发了交互式定量工具,该工具通过极少的用户输入即可实现接近完美的颗粒分割精度。其次,我们提出一种新颖的分类流程,利用这些分割掩码对DINOv2视觉Transformer进行空间约束,仅从颗粒区域提取特征并抑制背景噪声。在包含1,800张TEM图像的数据集上评估表明,该架构在区分四种不同碳纳米管形貌时达到95.5%的准确率,尽管仅使用少量训练数据,仍显著超越当前基线方法。关键在于,这种实例级处理使框架能够解析混合样本,对同一视场中共存的不同颗粒类型进行正确分类。这些结果表明,将零样本分割与自监督特征学习相结合,能够实现高通量、可重复的纳米材料分析,将劳动密集型的瓶颈环节转化为可扩展的数据驱动流程。

0
下载
关闭预览

相关内容

Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
专知会员服务
22+阅读 · 2021年8月23日
【机器视觉】图像分类问题详细介绍
产业智能官
10+阅读 · 2018年12月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
专知会员服务
22+阅读 · 2021年8月23日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员