We present a framework that pioneers the prediction of photochemical conversion in complex three-dimensionally printed objects, introducing a challenging new computer vision task: predicting dense, non-visual volumetric physical properties from 3D visual data. This approach leverages the largest-ever optically printed 3D specimen dataset, comprising a large family of parametrically designed complex minimal surface structures that have undergone terminal chemical characterisation. Conventional vision models are ill-equipped for this task, as they lack an inductive bias for the coupled, non-linear interactions of optical physics (diffraction, absorption) and material physics (diffusion, convection) that govern the final chemical state. To address this, we propose Coupled Physics-Gated Adaptation (C-PGA), a novel multimodal fusion architecture. Unlike standard concatenation, C-PGA explicitly models physical coupling by using sparse geometrical and process parameters (e.g., surface transport, print layer height) as a Query to dynamically gate and adapt the dense visual features via feature-wise linear modulation (FiLM). This mechanism spatially modulates dual 3D visual streams-extracted by parallel 3D-CNNs processing raw projection stacks and their diffusion-diffraction corrected counterparts allowing the model to recalibrate its visual perception based on the physical context. This approach offers a breakthrough in virtual chemical characterisation, eliminating the need for traditional post-print measurements and enabling precise control over the chemical conversion state.


翻译:本文提出一个开创性框架,用于预测复杂三维打印物体中的光化学转化过程,从而引入一项具有挑战性的计算机视觉新任务:从三维视觉数据预测密集的非视觉体积物理属性。该方法利用了迄今规模最大的光学打印三维样本数据集,该数据集包含大量经过参数化设计的复杂极小曲面结构家族,并已完成终端化学表征。传统视觉模型难以胜任此任务,因为它们缺乏对光学物理(衍射、吸收)与材料物理(扩散、对流)之间耦合非线性相互作用的归纳偏置,而这些相互作用共同决定了最终化学状态。为此,我们提出耦合物理门控自适应(C-PGA)——一种新颖的多模态融合架构。与标准拼接方式不同,C-PGA通过将稀疏几何参数与工艺参数(如表面传输、打印层高)作为查询向量,动态门控并适应密集视觉特征(通过特征级线性调制技术),从而显式建模物理耦合关系。该机制对双三维视觉流进行空间调制——这些视觉流由并行三维卷积神经网络从原始投影堆栈及其经扩散-衍射校正的对应数据中提取——使模型能够根据物理上下文重新校准其视觉感知。该方法在虚拟化学表征领域实现突破,消除了传统打印后测量的需求,并实现了对化学转化状态的精确控制。

0
下载
关闭预览

相关内容

物理学中的高级深度学习
专知会员服务
19+阅读 · 2025年12月9日
物理引导的深度学习研究综述:进展、挑战和展望
专知会员服务
30+阅读 · 2025年5月11日
【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
物理学中的高级深度学习
专知会员服务
19+阅读 · 2025年12月9日
物理引导的深度学习研究综述:进展、挑战和展望
专知会员服务
30+阅读 · 2025年5月11日
【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员