Learning Hierarchical Semantic Classification by Grounding on Consistent Image Segmentations

分层语义分类需要预测一个层级树而不是单个平面层级，其中个别层级的准确性和层级之间的一致性都很重要。我们可以为每个层级训练分类器，这样可以获得准确性但不具备一致性，或者我们可以仅训练最精细层级的分类并推断更高层级，这样可以获得一致性但不具备准确性。我们的关键洞察是，分层识别不应该被视为多任务分类，因为每个层级本质上是一个不同的任务，它们必须相互妥协，但是应该基于在语义粒度上保持一致的图像分割。一致性实际上可以提高准确性。我们在最近的平面层级识别学习分层分割的基础上进行扩展，将其扩展到分层识别。它自然地捕捉到精细识别需要精细图像分割，而粗粒度识别需要粗糙分割的直觉；它们都可以集成到一个驱动从精细到粗糙的内部视觉解析的识别模型中。此外，我们引入了一种树路径KL散度损失，以实现跨层级的一致准确预测。我们广泛的实验和分析证明了我们在预测准确和一致的层级树方面取得的显着收益。

解决问题：论文试图解决如何进行分层语义分类的问题，即在预测分类树的同时保证各层级别的准确性和一致性。

关键思路：论文提出了一种基于图像分割的分层语义分类方法，将细粒度分类与粗粒度分类结合起来，并使用Tree-path KL Divergence loss来保证各层级别的一致性和准确性。

其他亮点：论文在实验中取得了显著的成果，同时提供了数据集和开源代码，值得进一步研究。同时，该方法可以应用于其他领域的分层分类问题。

相关研究：最近的相关研究包括Learning to Segment Every Thing、Convolutional Neural Networks for Semantic Segmentation等。