Content-based puzzle solvers have been extensively studied, demonstrating significant progress in computational techniques. However, their evaluation often lacks realistic challenges crucial for real-world applications, such as the reassembly of fragmented artefacts or shredded documents. In this work, we investigate the robustness of State-Of-The-Art content-based puzzle solvers introducing three types of jigsaw puzzle corruptions: missing pieces, eroded edges, and eroded contents. Evaluating both heuristic and deep learning-based solvers, we analyse their ability to handle these corruptions and identify key limitations. Our results show that solvers developed for standard puzzles have a rapid decline in performance if more pieces are corrupted. However, deep learning models can significantly improve their robustness through fine-tuning with augmented data. Notably, the advanced Positional Diffusion model adapts particularly well, outperforming its competitors in most experiments. Based on our findings, we highlight promising research directions for enhancing the automated reconstruction of real-world artefacts.


翻译:基于内容的拼图求解器已被广泛研究,其在计算技术方面展现出显著进展。然而,其评估往往缺乏对现实应用至关重要的实际挑战,例如碎片化文物或碎纸文档的重组。在本工作中,我们研究了最先进的基于内容拼图求解器的鲁棒性,引入了三种类型的拼图损坏:缺失拼块、边缘腐蚀和内容腐蚀。通过评估启发式与基于深度学习的求解器,我们分析了它们处理这些损坏的能力并识别了关键局限。我们的结果表明,为标准拼图开发的求解器在损坏拼块增多时性能会迅速下降。然而,深度学习模型可以通过使用增强数据进行微调来显著提升其鲁棒性。值得注意的是,先进的Positional Diffusion模型表现出特别强的适应能力,在大多数实验中优于其竞争对手。基于我们的发现,我们指出了增强现实世界文物自动化重建的有前景的研究方向。

0
下载
关闭预览

相关内容

Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
108+阅读 · 2020年5月3日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
21+阅读 · 2021年10月25日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员