Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data

物质及其状态的视觉理解和分割是理解物理世界的基础。物质形成的无限纹理、形状和常常模糊的边界使这项任务特别难以概括。无论是识别表面的湿润区域、岩石中的矿物质、植物中的感染区域还是水中的污染物，每种物质状态都有其独特的形态。为了让神经网络学习不受类别限制的物质分割，有必要首先收集和注释能够捕捉这种复杂性的数据。收集现实世界的图像并进行手动注释既成本高又精度有限。相比之下，合成数据精度高且成本几乎为零，但无法复制物质世界的巨大多样性。在这项工作中，我们提出了一种方法来弥合这个关键差距，即将从现实世界图像中提取的模式植入到合成数据中。因此，自然图像中自动收集的模式被用于将物质映射到合成场景中。这种无监督方法使生成的数据能够捕捉真实世界的巨大复杂性，同时保持合成数据的精度和规模。我们还提出了第一个通用的物质状态分割基准。基准图像包含各种物质状态的现实世界图像，包括烹饪、食品、岩石、建筑、植物和液体等各种状态（湿润/干燥/染色/烹饪/烧焦/磨损/生锈/沉淀/泡沫...）。注释包括具有类似但不完全相同的材料区域之间的部分相似性以及仅对完全相同材料状态的点进行硬分割。我们展示了在MatSeg上训练的神经网络在这项任务上明显优于现有的最先进方法。

本文的问题是如何通过将从真实世界图像中提取的模式植入到合成数据中，从而实现类不可知材料分割的学习。同时，论文还提出了第一个通用的类不可知材料状态分割基准测试。

本文的关键思路是使用从真实世界图像中提取的模式来映射材料状态到合成场景中，从而生成数据以捕捉真实世界的复杂性，同时保持合成数据的精度和规模。这种无监督的方法在类不可知材料状态分割任务上表现优于现有的最先进方法。

论文提出了一个新的方法来解决类不可知材料分割的问题，并提出了第一个通用的类不可知材料状态分割基准测试。该方法使用从真实世界图像中提取的模式来映射材料状态到合成场景中，生成数据以捕捉真实世界的复杂性，同时保持合成数据的精度和规模。实验结果表明，该方法在类不可知材料状态分割任务上表现优于现有的最先进方法。

在这个领域中，最近的相关研究包括：1）基于深度学习的材料分割方法；2）使用合成数据进行材料分割的方法；3）使用迁移学习进行材料分割的方法。相关论文包括“DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs”、“Synthetic Data for Neural Network Training: A Comprehensive Review”、“Transfer Learning for Materials Image Analysis”等。