Scene Depth Estimation from Traditional Oriental Landscape Paintings

从绘画中估计场景深度可以简化三维雕塑创作的过程，使视障人士能够通过触觉感受欣赏绘画。然而，由于东方山水画独特的深度描绘方法和保存状况不佳，测量其深度非常具有挑战性。为了解决从东方山水画图像中估算场景深度的问题，我们提出了一个新的框架，它包括两步图像到图像的转换方法，并在前端采用基于CLIP的图像匹配来预测与给定的东方山水画图像最匹配的真实场景图像。然后，我们使用预训练的SOTA深度估计模型来处理生成的真实场景图像。在第一步中，CycleGAN将东方山水画图像转换为伪真实场景图像。我们利用CLIP在无监督的情况下将风景照片图像与东方山水画图像进行语义匹配，以训练CycleGAN。然后，在第二步中，将伪真实场景图像和东方山水画图像输入DiffuseIT以预测最终的真实场景图像。最后，我们使用预训练的深度估计模型（如MiDaS）来测量生成的真实场景图像的深度。实验结果表明，我们的方法足以预测与东方山水画图像相对应的真实场景图像。据我们所知，这是第一项测量东方山水画图像深度的研究。我们的研究有望帮助视障人士以多种方式体验绘画。我们将发布我们的代码和结果数据集。

提出了一种从东方山水画图像中估计场景深度的方法，以帮助视障人士通过触感体验欣赏绘画作品。

该方法采用两步式图像转换，结合基于CLIP的图像匹配和预训练的深度估计模型来预测与给定东方山水画图像最匹配的真实场景图像的深度。

使用CycleGAN将东方山水画图像转换为伪真实场景图像，并利用CLIP在无监督的情况下进行语义匹配。然后使用DiffuseIT将伪真实场景图像和东方山水画图像输入，预测最终的真实场景图像。最后使用预训练的深度估计模型（如MiDaS）测量生成的真实场景图像的深度。实验结果表明，该方法可以很好地预测与东方山水画图像相对应的真实场景图像。该研究是首次尝试从东方山水画图像中估计场景深度。作者将发布代码和数据集。

最近的相关研究包括使用GAN进行图像转换和使用深度学习进行场景深度估计的研究。