CriSp: Leveraging Tread Depth Maps for Enhanced Crime-Scene Shoeprint Matching

鞋印是在犯罪现场常见的证据，常用于法医调查。然而，现有的方法由于缺乏训练数据，不能有效地运用深度学习技术将嘈杂和遮挡的犯罪现场鞋印与鞋子数据库匹配。此外，所有现有的方法都是将犯罪现场鞋印与干净的参考印进行匹配，但我们的分析表明，将其与更具信息量的胎面深度图匹配可以获得更好的检索结果。匹配任务的复杂性进一步增加，因为必须仅在印和鞋胎的相应区域（脚跟、脚趾等）中识别相似之处。为了克服这些挑战，我们利用在线零售商的鞋胎图像，并利用现成的预测器估算深度图和干净印。我们的方法名为CriSp，通过对这些数据进行训练，将犯罪现场鞋印与胎面深度图相匹配。CriSp采用数据增强来模拟犯罪现场鞋印，采用编码器来学习具有空间感知能力的特征，并采用掩模模块来确保仅可见的犯罪现场印区域影响检索结果。为了验证我们的方法，我们通过重新处理现有的犯罪现场鞋印数据集引入了两个验证集，并建立了一个基准测试协议进行比较。在这个基准测试中，CriSp在自动鞋印匹配和针对这项任务量身定制的图像检索方面都显著优于现有的最先进方法。

本论文旨在解决现有方法无法有效地使用深度学习技术将嘈杂和遮挡的犯罪现场鞋印与鞋数据库匹配的问题，这是由于缺乏训练数据。同时，现有方法都是将犯罪现场鞋印与干净的参考鞋印进行匹配，但本文的分析表明，与更具信息量的胎面深度图匹配可以获得更好的检索结果。此外，匹配任务的复杂性还在于必须仅在相应区域（后跟，脚趾等）的印记和鞋胎之间识别相似之处。

本文使用来自在线零售商的鞋胎图像，并利用现成的预测器来估计深度图和干净的鞋印，从而将犯罪现场鞋印与鞋胎深度图进行匹配。本文采用数据增强来模拟犯罪现场鞋印，一个编码器学习具有空间感知特征的表征，并使用掩模模块确保仅可见区域的犯罪现场印记影响检索结果。

本文提出的方法名为CriSp，通过在这些数据上进行训练，将犯罪现场鞋印与胎面深度图进行匹配。本文还介绍了两个验证集，并建立了一个基准测试协议进行比较。在这个基准测试中，CriSp在自动鞋印匹配和针对这个任务的图像检索方面都显著优于现有的最先进方法。

在这个领域中，最近的相关研究包括：《A Comprehensive Survey of Deep Learning for Image Retrieval》、《A Survey of Deep Learning for Scientific Discovery》、《Deep Learning in Medical Image Analysis: A Review》等。