The revenge of BiSeNet: Efficient Multi-Task Image Segmentation

最近图像分割方面的进展主要集中在提高模型的效率以满足实时应用的需求，特别是在边缘设备上。然而，现有的研究主要集中在单任务设置，特别是语义分割，导致了不必要的努力和为不同任务专门设计的体系结构。为了解决这个限制，我们提出了一种新颖的、能够处理各种分割任务而不牺牲效率或准确性的高效多任务图像分割体系结构。我们引入了BiSeNetFormer，它利用了两流语义分割体系结构的效率，并将它们扩展到一个掩模分类框架中。我们的方法保持了高效的空间和语境路径以捕捉详细和语义信息，同时利用了一种高效的基于转换的分割头来计算二进制掩模和类别概率。通过无缝支持多个任务，即语义分割和全景分割，BiSeNetFormer为多任务分割提供了一个多才多艺的解决方案。我们在流行的数据集Cityscapes和ADE20K上评估了我们的方法，展示了令人印象深刻的推断速度，同时与最先进的体系结构保持了竞争性的准确性。我们的结果表明，BiSeNetFormer代表了快速、高效和多任务分割网络方面的重大进展，弥合了模型效率和任务适应能力之间的差距。

提出一种新的多任务图像分割架构，旨在解决现有研究仅集中于单一任务设置的问题，同时保持高效和准确性。

提出了一种名为BiSeNetFormer的架构，将两个流的语义分割架构扩展到掩模分类框架中，同时支持多个任务，如语义和全景分割。

实验结果表明，BiSeNetFormer在保持高效的同时，与最先进的架构相比具有竞争力的准确性。论文提供了代码和数据集。

与现有的单任务图像分割架构和多任务学习相关的研究。