Looking 3D: Anomaly Detection with 2D-3D Alignment

自动异常检测基于视觉线索在制造和产品质量评估等各个领域具有实际意义。本文介绍了一个新的有条件异常检测问题，涉及通过比较查询图像和参考形状来识别异常。为了解决这个挑战，我们创建了一个大型数据集BrokenChairs-180K，包含大约180K个图像，具有不同的异常、几何形状和纹理，配对了8143个参考3D形状。为了解决这个任务，我们提出了一种新颖的基于transformer的方法，通过特征对齐明确地学习查询图像和参考3D形状之间的对应关系，并利用定制的注意机制进行异常检测。我们的方法已经通过全面的实验进行了严格评估，在这一领域成为未来研究的基准。

本论文旨在解决一种新的条件异常检测问题，即通过比较查询图像和参考形状来识别图像中的异常。此外，作者还创建了一个大型数据集BrokenChairs-180K，用于解决这个问题。

本文提出了一种新的基于Transformer的方法，通过特征对齐来明确学习查询图像和参考3D形状之间的对应关系，并利用自定义的注意力机制进行异常检测。

论文设计了全面的实验来评估该方法，并开放了数据集和代码，有助于未来研究。此外，数据集包含大量不同类型的图像，具有广泛的应用前景。

最近的相关研究包括：'Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications'，'Deep One-Class Classification'等。