PedDet: Adaptive Spectral Optimization for Multimodal Pedestrian Detection

在智能交通系统中，行人检测已经取得了显著进展，但仍然面临两个关键挑战：（1）可见光和红外光谱之间的互补信息融合不足，特别是在复杂场景下；（2）对光照变化（如低光或过曝条件）敏感，导致性能下降。为了解决这些问题，我们提出了PedDet，这是一种适应性的光谱优化互补框架，专门针对多光谱行人检测进行了增强和优化。PedDet引入了多尺度光谱特征感知模块（MSFPM），以自适应地融合可见光和红外特征，增强了特征提取的鲁棒性和灵活性。此外，光照鲁棒性特征解耦模块（IRFDM）通过解耦行人和背景特征，提高了在不同光照条件下的检测稳定性。我们还设计了对比对齐方法，以增强模态间特征的区分度。实验结果表明，在LLVIP和MSDS数据集上，PedDet实现了最先进的性能，即使在低光条件下，mAP也提升了6.6%，检测精度更高，标志着道路安全方面的重要进步。代码将在https://github.com/AIGeeksGroup/PedDet上提供。

论文试图解决智能交通系统中行人检测面临的两个关键挑战：1) 可见光和红外光谱之间的互补信息融合不足，尤其是在复杂场景下；2) 对光照变化（如低光或过曝条件）的敏感性，导致性能下降。这是一个长期存在的问题，但该研究提出了新的解决方案来应对这些挑战。

论文的关键思路是引入了PedDet框架，一个自适应光谱优化互补框架，专门用于多光谱行人检测。PedDet通过Multi-scale Spectral Feature Perception Module (MSFPM) 模块自适应地融合可见光和红外特征，增强了特征提取的鲁棒性和灵活性。此外，Illumination Robustness Feature Decoupling Module (IRFDM) 模块通过分离行人和背景特征提高了在不同光照条件下的检测稳定性。对比对齐技术进一步增强了跨模态特征区分能力。相比现有研究，PedDet更注重多光谱信息的自适应融合及光照鲁棒性。

该研究的亮点包括：1) 在LLVIP和MSDS数据集上的实验表明，PedDet实现了最先进的性能，mAP提升了6.6%，尤其在低光条件下表现出色；2) 提出了MSFPM和IRFDM两个创新模块，显著提高了特征提取和光照适应性；3) 使用对比对齐技术增强了不同模态特征的区分度；4) 研究团队承诺开源代码，便于后续研究和应用开发。未来值得继续深入的研究方向包括如何进一步提高复杂环境下的检测精度以及扩展到其他视觉任务的应用。

最近在这个领域中，相关研究包括：1) "Seeing in the Dark: Deep Learning for Low-Light Image Enhancement and Denoising"，探讨了低光条件下的图像增强与降噪；2) "Multispectral Pedestrian Detection via Cross-Spectrum Correlation Consistency"，利用跨光谱相关一致性进行多光谱行人检测；3) "A Survey on Pedestrian Detection Techniques for Intelligent Transportation Systems"，综述了智能交通系统中的行人检测技术。