Mamba YOLO: SSMs-Based YOLO For Object Detection

受深度学习技术的快速发展推动，YOLO系列为实时目标检测器设定了新的基准。研究人员不断探索创新的重新参数化、高效的层聚合网络和基于锚点的技术，构建在YOLO的基础上。为了进一步提高检测性能，引入了基于Transformer的结构，显著扩展了模型的感受野并取得了显著的性能提升。然而，这样的改进是有代价的，因为自注意机制的二次复杂度增加了模型的计算负担。幸运的是，作为一种创新技术，状态空间模型（SSM）有效地缓解了二次复杂度带来的问题。鉴于这些进展，我们介绍了一种基于SSM的新型目标检测模型Mamba-YOLO。Mamba-YOLO不仅优化了SSM基础，而且专门为目标检测任务进行了适应。考虑到SSM在序列建模中的潜在局限性，例如感受野不足和图像局部性较弱，我们设计了LSBlock和RGBlock。这些模块使得更精确地捕捉局部图像依赖性，并显著增强了模型的鲁棒性。公开可用的基准数据集COCO和VOC上的广泛实验结果表明，Mamba-YOLO在性能和竞争力方面均超过了现有的YOLO系列模型，展示了其重大潜力和竞争优势。PyTorch代码可在以下网址获取：\url{https://github.com/HZAI-ZJNU/Mamba-YOLO}。

Mamba-YOLO试图解决实时目标检测中的性能和计算复杂度问题。该论文尝试通过使用State Space Models (SSM)来优化目标检测模型的计算复杂度，并通过设计新的LSBlock和RGBlock模块来提高模型的鲁棒性和局部依赖性。

论文的关键思路是将State Space Models (SSM)应用于目标检测模型，通过优化计算复杂度来提高模型性能。同时，论文还设计了LSBlock和RGBlock模块来增强模型的鲁棒性和局部依赖性。

论文的实验结果表明，Mamba-YOLO在公共数据集COCO和VOC上的表现优于现有的YOLO系列模型。此外，论文还提供了PyTorch代码供其他研究者使用。

最近在这个领域中，也有一些研究集中于使用Transformer-based结构来提高目标检测模型的性能，例如DETR和Sparse R-CNN。