Vision-RWKV: Efficient and Scalable Visual Perception with RWKV-Like Architectures

本文介绍了一种名为Vision-RWKV (VRWKV)的模型，它是在NLP领域中使用的RWKV模型在进行必要修改后用于视觉任务的一种改进。与Vision Transformer (ViT)类似，我们的模型旨在高效处理稀疏输入并展示强大的全局处理能力，同时还能有效地扩展，适应大规模参数和广泛的数据集。它的独特优势在于其降低的空间聚合复杂度，使其在无缝处理高分辨率图像方面表现异常出色，消除了窗口操作的必要性。我们在图像分类方面的评估表明，VRWKV与ViT的分类性能相当，但速度更快，内存使用更低。在密集预测任务中，它优于基于窗口的模型，同时保持可比较的速度。这些结果突显了VRWKV作为视觉感知任务更有效的替代方案的潜力。代码已在\url{https://github.com/OpenGVLab/Vision-RWKV}上发布。

论文旨在解决高分辨率图像处理和长上下文分析的计算复杂度高的问题，提出一种适用于视觉任务的模型VRWKV。

VRWKV模型是从NLP领域中RWKV模型改进而来，具有处理稀疏输入和全局信息处理的能力，同时可有效扩展到大规模参数和数据集。其优势在于降低了空间聚合复杂度，从而能够无缝处理高分辨率图像，消除了窗口操作的必要性。

论文通过图像分类和密集预测任务的实验评估了VRWKV模型的性能，结果表明VRWKV在分类任务上与ViT相当，但速度更快、内存使用更低，在密集预测任务上表现优异，维持了相当的速度。此外，作者还开源了代码，具有很好的可复现性。

在这个领域中，最近的相关研究包括Vision Transformer (ViT)、Swin Transformer等。