In light of globalized hardware supply chains, the assurance of hardware components has gained significant interest, particularly in cryptographic applications and high-stakes scenarios. Identifying metal lines on scanning electron microscope (SEM) images of integrated circuits (ICs) is one essential step in verifying the absence of malicious circuitry in chips manufactured in untrusted environments. Due to varying manufacturing processes and technologies, such verification usually requires tuning parameters and algorithms for each target IC. Often, a machine learning model trained on images of one IC fails to accurately detect metal lines on other ICs. To address this challenge, we create SAMSEM by adapting Meta's Segment Anything Model 2 (SAM2) to the domain of IC metal line segmentation. Specifically, we develop a multi-scale segmentation approach that can handle SEM images of varying sizes, resolutions, and magnifications. Furthermore, we deploy a topology-based loss alongside pixel-based losses to focus our segmentation on electrical connectivity rather than pixel-level accuracy. Based on a hyperparameter optimization, we then fine-tune the SAM2 model to obtain a model that generalizes across different technology nodes, manufacturing materials, sample preparation methods, and SEM imaging technologies. To this end, we leverage an unprecedented dataset of SEM images obtained from 48 metal layers across 14 different ICs. When fine-tuned on seven ICs, SAMSEM achieves an error rate as low as 0.72% when evaluated on other images from the same ICs. For the remaining seven unseen ICs, it still achieves error rates as low as 5.53%. Finally, when fine-tuned on all 14 ICs, we observe an error rate of 0.62%. Hence, SAMSEM proves to be a reliable tool that significantly advances the frontier in metal line segmentation, a key challenge in post-manufacturing IC verification.


翻译:随着硬件供应链的全球化,硬件组件的可信保障受到广泛关注,在密码学应用和高风险场景中尤为关键。在集成电路(IC)的扫描电子显微镜(SEM)图像中识别金属线,是验证在不可信环境中制造的芯片是否含有恶意电路的关键步骤之一。由于制造工艺和技术的差异,此类验证通常需要针对每个目标IC调整参数和算法。通常,基于某一IC图像训练的机器学习模型难以准确检测其他IC上的金属线。为应对这一挑战,我们通过将Meta的Segment Anything Model 2(SAM2)适配到IC金属线分割领域,创建了SAMSEM。具体而言,我们开发了一种多尺度分割方法,能够处理不同尺寸、分辨率和放大倍率的SEM图像。此外,我们在像素级损失函数的基础上引入了基于拓扑结构的损失函数,使分割聚焦于电气连通性而非像素级精度。基于超参数优化,我们对SAM2模型进行微调,获得了一个能够泛化至不同技术节点、制造材料、样品制备方法和SEM成像技术的模型。为此,我们利用了一个前所未有的SEM图像数据集,该数据集涵盖14种不同IC的48个金属层。在7个IC上进行微调后,SAMSEM在相同IC的其他图像上评估时错误率低至0.72%。对于其余7个未见过的IC,其错误率仍可低至5.53%。最后,当在所有14个IC上进行微调时,我们观察到错误率为0.62%。因此,SAMSEM被证明是一种可靠的工具,显著推进了金属线分割这一制造后IC验证关键难题的研究前沿。

0
下载
关闭预览

相关内容

SAM2 用于图像和视频分割:全面综述
专知会员服务
17+阅读 · 2025年3月22日
分割任何模型(SAM)综述: 视觉基础模型与提示工程的结合
专知会员服务
53+阅读 · 2023年6月16日
一文带你读懂 SegNet(语义分割)
AI研习社
19+阅读 · 2019年3月9日
【PHM】NIST:PHM制造工艺流程技术和指标路线图
产业智能官
11+阅读 · 2019年1月13日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 10分钟前
美/以-伊战争:停火与后续情景与影响分析
专知会员服务
3+阅读 · 4月11日
美国-以色列-伊朗战争:是否会动用地面部队?
美国协同作战飞机项目新型无人机发动机
专知会员服务
1+阅读 · 4月11日
相关VIP内容
SAM2 用于图像和视频分割:全面综述
专知会员服务
17+阅读 · 2025年3月22日
分割任何模型(SAM)综述: 视觉基础模型与提示工程的结合
专知会员服务
53+阅读 · 2023年6月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员