Active Alignment (AA) is a key technology for the large-scale automated assembly of high-precision optical systems. Compared with labor-intensive per-model on-device calibration, a digital-twin pipeline built on optical simulation offers a substantial advantage in generating large-scale labeled data. However, complex imaging conditions induce a domain gap between simulation and real-world images, limiting the generalization of simulation-trained models. To address this, we propose augmenting a simulation baseline with minimal unlabeled real-world images captured at random misalignment positions, mitigating the gap from a domain adaptation perspective. We introduce Domain Adaptive Active Alignment (DA3), which utilizes an autoregressive domain transformation generator and an adversarial-based feature alignment strategy to distill real-world domain information via self-supervised learning. This enables the extraction of domain-invariant image degradation features to facilitate robust misalignment prediction. Experiments on two lens types reveal that DA3 improves accuracy by 46% over a purely simulation pipeline. Notably, it approaches the performance achieved with precisely labeled real-world data collected on 3 lens samples, while reducing on-device data collection time by 98.7%. The results demonstrate that domain adaptation effectively endows simulation-trained models with robust real-world performance, validating the digital-twin pipeline as a practical solution to significantly enhance the efficiency of large-scale optical assembly.


翻译:主动对准(AA)是高精度光学系统大规模自动化装配的关键技术。与劳动密集型的单模型设备端标定相比,基于光学仿真构建的数字孪生流程在生成大规模标注数据方面具有显著优势。然而,复杂的成像条件导致仿真图像与真实世界图像之间存在域差异,限制了仿真训练模型的泛化能力。为解决此问题,我们提出在仿真基线基础上,通过采集少量随机失准位置处的无标注真实世界图像进行增强,从域适应的角度弥合该差异。我们提出了域自适应主动对准(DA3)方法,该方法利用自回归域变换生成器和基于对抗的特征对齐策略,通过自监督学习提取真实世界域信息。这使得模型能够提取域不变的图像退化特征,从而实现鲁棒的失准预测。在两种镜头类型上的实验表明,DA3相比纯仿真流程将准确率提升了46%。值得注意的是,其性能接近使用3个镜头样本上精确标注的真实世界数据所达到的水平,同时将设备端数据采集时间减少了98.7%。结果表明,域适应能有效赋予仿真训练模型以鲁棒的真实世界性能,验证了数字孪生流程作为显著提升大规模光学装配效率的实用解决方案。

0
下载
关闭预览

相关内容

【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
专知会员服务
41+阅读 · 2021年6月19日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员