Multiscale Low-Frequency Memory Network for Improved Feature Extraction in Convolutional Neural Networks

深度学习和卷积神经网络（CNNs）已经在各种研究领域推动了重大转型。然而，它们在处理低频信息方面的局限性在某些任务中存在障碍，例如解释全局结构或管理平滑过渡图像。尽管变压器结构在许多任务中表现出有希望的性能，但它们复杂的优化复杂性突显了对使用有限资源进行精细的CNN增强的持久需求。针对这些复杂性，我们引入了一种新的框架，即多尺度低频存储（MLFM）网络，旨在发挥CNN的全部潜力，同时保持其复杂性不变。MLFM有效地保留低频信息，提高了针对计算机视觉任务的性能。我们的MLFM的核心是低频存储单元（LFMU），它存储各种低频数据并形成与核心网络并行的通道。 MLFM的一个关键优势是它与各种普遍网络的无缝兼容性，不需要对它们的原始核心结构进行任何修改。在ImageNet上的测试显示，在多个2D CNN中，包括ResNet，MobileNet，EfficientNet和ConvNeXt中，准确性显着提高。此外，我们展示了MLFM在传统图像分类之外的多种用途，通过成功将其集成到图像到图像转换任务中，特别是在语义分割网络中，如FCN和U-Net。总之，我们的工作标志着在使用有限资源优化CNN的效力和效率的旅程中迈出了关键步伐。这项研究建立在现有的CNN基础之上，并为计算机视觉的未来发展铺平了道路。我们的代码可在https://github.com/AlphaWuSeu/MLFM获得。

论文旨在解决深度学习和卷积神经网络在处理低频信息方面的局限性，提出一种新的框架Multiscale Low-Frequency Memory (MLFM) Network，以提高计算机视觉任务的性能。

MLFM网络通过引入Low-Frequency Memory Unit (LFMU)来有效地保留低频信息，形成与核心网络平行的通道，从而提高了2D CNNs，如ResNet、MobileNet、EfficientNet和ConvNeXt的准确性。

论文的亮点包括：1. MLFM网络能够无缝地与各种流行的网络兼容，无需更改其原始核心结构；2. 在ImageNet上的测试结果表明，MLFM网络在多个2D CNNs中都有显著的准确性提高；3. MLFM网络还可成功地集成到图像到图像翻译任务中，特别是在语义分割网络中，如FCN和U-Net；4. 论文代码已在github上开源。

最近在这个领域中，还有一些相关的研究，如《Going Deeper with Convolutions》、《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》等。