Recent advances in text-to-image (T2I) diffusion models have enabled increasingly realistic synthesis of vehicle damage, raising concerns about their reliability in automated insurance workflows. The ability to generate crash-like imagery challenges the boundary between authentic and synthetic data, introducing new risks of misuse in fraud or claim manipulation. To address these issues, we propose HERS (Hidden-Pattern Expert Learning for Risk-Specific Damage Adaptation), a framework designed to improve fidelity, controllability, and domain alignment of diffusion-generated damage images. HERS fine-tunes a base diffusion model via domain-specific expert adaptation without requiring manual annotation. Using self-supervised image-text pairs automatically generated by a large language model and T2I pipeline, HERS models each damage category, such as dents, scratches, broken lights, or cracked paint, as a separate expert. These experts are later integrated into a unified multi-damage model that balances specialization with generalization. We evaluate HERS across four diffusion backbones and observe consistent improvements: plus 5.5 percent in text faithfulness and plus 2.3 percent in human preference ratings compared to baselines. Beyond image fidelity, we discuss implications for fraud detection, auditability, and safe deployment of generative models in high-stakes domains. Our findings highlight both the opportunities and risks of domain-specific diffusion, underscoring the importance of trustworthy generation in safety-critical applications such as auto insurance.


翻译:近年来,文本到图像(T2I)扩散模型的发展使得车辆损伤的合成日益逼真,这引发了对其在自动化保险工作流程中可靠性的担忧。生成类碰撞图像的能力挑战了真实数据与合成数据之间的界限,带来了欺诈或理赔操纵等滥用的新风险。为解决这些问题,我们提出了HERS(面向风险特异性损伤适配的隐式模式专家学习),这是一个旨在提升扩散生成损伤图像保真度、可控性与领域对齐性的框架。HERS通过领域特异性专家适配对基础扩散模型进行微调,无需人工标注。利用由大语言模型和T2I流程自动生成的自监督图文对,HERS将每个损伤类别(如凹痕、划痕、车灯破损或漆面开裂)建模为独立的专家。这些专家随后被集成到一个统一的多损伤模型中,以平衡专业化与泛化能力。我们在四种扩散骨干网络上评估HERS,均观察到一致的改进:与基线相比,文本忠实度提升5.5%,人类偏好评分提升2.3%。除图像保真度外,我们进一步探讨了生成模型在高风险领域(如欺诈检测、可审计性及安全部署)的应用影响。我们的研究结果既揭示了领域特异性扩散技术的机遇,也指明了其风险,强调了在汽车保险等安全关键应用中实现可信生成的重要性。

0
下载
关闭预览

相关内容

IMAGINE-E:最先进文本到图像模型的图像生成智能评估
专知会员服务
13+阅读 · 2025年2月3日
《可信文本到图像扩散模型》最新综述
专知会员服务
27+阅读 · 2024年9月30日
《扩散模型智能交通系统》综述
专知会员服务
25+阅读 · 2024年9月27日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员