Multi-Branch Auxiliary Fusion YOLO with Re-parameterization Heterogeneous Convolutional for accurate object detection

由于多尺度特征融合的有效性，Path Aggregation FPN（PAFPN）在YOLO检测器中被广泛采用。然而，它不能同时高效地和自适应地集成高级语义信息和低级空间信息。本文提出了一个名为MAF-YOLO的新模型，它是一个具有多分支辅助FPN（MAFPN）的全新物体检测框架。在MAFPN内，设计了Superficial Assisted Fusion（SAF）模块，将骨干网络和neck的输出相结合，保留了最佳的浅层信息水平，以便于后续学习。同时，深度嵌入neck内的Advanced Assisted Fusion（AAF）模块传递了更广泛的梯度信息到输出层。此外，我们提出的Re-parameterized Heterogeneous Efficient Layer Aggregation Network（RepHELAN）模块确保了整个模型架构和卷积设计都采用了异构大卷积核的利用。因此，这保证了同时实现小目标相关信息的保留和多尺度感受野。最后，以MAF-YOLO的nano版本为例，它只有3.76M可学习参数和10.51G FLOPs，可以在COCO上实现42.4％的AP，大约比YOLOv8n高出5.1％。本文的源代码可在https://github.com/yang-0201/MAF-YOLO上获得。

论文旨在提出一个新的目标检测框架MAF-YOLO，解决PAFPN不能同时高效地集成高级语义信息和低级空间信息的问题，同时保留浅层信息以促进后续学习的优化级别。

MAF-YOLO采用了Multi-Branch Auxiliary FPN (MAFPN)作为其可变的neck，其中Superficial Assisted Fusion (SAF)模块设计用于将backbone的输出与neck结合起来，同时保留最佳的浅层信息，以便于后续学习。同时，Advanced Assisted Fusion (AAF)模块在neck中深度嵌入，将更多的梯度信息传递到输出层。

MAF-YOLO采用了Re-parameterized Heterogeneous Efficient Layer Aggregation Network (RepHELAN)模块，确保整体模型架构和卷积设计都采用异构大卷积核的利用，从而保证了与小目标相关的信息的保存，同时实现了多尺度感受野。在COCO数据集上，nano版本的MAF-YOLO仅具有3.76M可学习参数和10.51G FLOPs，可以实现42.4% AP，大约比YOLOv8n高出约5.1%。论文提供了开源代码。

在目标检测领域，最近的相关研究包括：YOLOv8n、PAFPN等。