Substation meters play a critical role in monitoring and ensuring the stable operation of power grids, yet their detection of cracks and other physical defects is often hampered by a severe scarcity of annotated samples. To address this few-shot generation challenge, we propose a novel framework that integrates Knowledge Embedding and Hypernetwork-Guided Conditional Control into a Stable Diffusion pipeline, enabling realistic and controllable synthesis of defect images from limited data. First, we bridge the substantial domain gap between natural-image pre-trained models and industrial equipment by fine-tuning a Stable Diffusion backbone using DreamBooth-style knowledge embedding. This process encodes the unique structural and textural priors of substation meters, ensuring generated images retain authentic meter characteristics. Second, we introduce a geometric crack modeling module that parameterizes defect attributes--such as location, length, curvature, and branching pattern--to produce spatially constrained control maps. These maps provide precise, pixel-level guidance during generation. Third, we design a lightweight hypernetwork that dynamically modulates the denoising process of the diffusion model in response to the control maps and high-level defect descriptors, achieving a flexible balance between generation fidelity and controllability. Extensive experiments on a real-world substation meter dataset demonstrate that our method substantially outperforms existing augmentation and generation baselines. It reduces Frechet Inception Distance (FID) by 32.7%, increases diversity metrics, and--most importantly--boosts the mAP of a downstream defect detector by 15.3% when trained on augmented data. The framework offers a practical, high-quality data synthesis solution for industrial inspection systems where defect samples are rare.


翻译:变电站仪表在监测和保障电网稳定运行中起着关键作用,然而对其裂纹等物理缺陷的检测常因标注样本严重稀缺而受阻。为应对这一少样本生成挑战,本文提出一种新颖框架,将知识嵌入与超网络引导的条件控制集成至 Stable Diffusion 流程中,实现了基于有限数据生成真实且可控的缺陷图像。首先,我们通过采用 DreamBooth 式知识嵌入对 Stable Diffusion 主干网络进行微调,弥合了自然图像预训练模型与工业设备间显著的领域差距。该过程编码了变电站仪表独特的结构与纹理先验,确保生成图像保留真实的仪表特征。其次,我们引入几何裂纹建模模块,将缺陷属性(如位置、长度、曲率及分支模式)参数化,以生成空间约束的控制图。这些控制图在生成过程中提供精确的像素级引导。第三,我们设计了一个轻量级超网络,能够根据控制图与高层缺陷描述符动态调制扩散模型的去噪过程,从而在生成保真度与可控性之间实现灵活平衡。在真实变电站仪表数据集上的大量实验表明,本方法显著优于现有的数据增强与生成基线方法:其将弗雷歇起始距离(FID)降低了 32.7%,提升了多样性指标,且最重要的是,当使用增强数据训练下游缺陷检测器时,其平均精度均值(mAP)提升了 15.3%。该框架为缺陷样本稀少的工业检测系统提供了一种实用、高质量的数据合成解决方案。

0
下载
关闭预览

相关内容

基于深度学习的表面缺陷检测方法综述
专知会员服务
89+阅读 · 2020年5月31日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
知识图谱嵌入(KGE):方法和应用的综述
专知
56+阅读 · 2019年8月25日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
【机器视觉】表面缺陷检测:机器视觉检测技术
产业智能官
25+阅读 · 2018年5月30日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基于深度学习的表面缺陷检测方法综述
专知会员服务
89+阅读 · 2020年5月31日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员