Lite-SAM Is Actually What You Need for Segment Everything

本文介绍了Lite-SAM，一种高效的端到端解决方案，用于降低计算成本和冗余，用于SegEvery任务。Lite-SAM由四个主要组件组成：流线型CNN-Transformer混合编码器（LiteViT），自动提示提议网络（AutoPPN），传统提示编码器和掩码解码器。所有这些组件都集成在SAM框架内。我们的LiteViT是一种高性能轻量级骨干网络，仅具有116万个参数，与最轻的现有骨干网络Shufflenet相比减少了23％。我们还介绍了AutoPPN，这是一种创新的端到端方法，用于生成提示框和点。这是对传统网格搜索采样方法的改进，其独特的设计允许轻松集成到任何SAM系列算法中，扩展其可用性。我们已经在各种公共和私人数据集上全面评估了Lite-SAM。评估包括广泛的通用指标，包括参数数量，SegEvery执行时间和准确性。研究结果表明，Lite-SAM以精简的4.2M参数运行，显著超越其同行，相对于SAM，MobileSAM，Edge-SAM，EfficientViT-SAM和MobileSAM-v2分别展现了43倍，31倍，20倍，21倍和1.6倍的性能提升，同时保持竞争力的准确性。这凸显了Lite-SAM在实现性能和精度之间的最佳平衡方面的实力，从而在该领域树立了新的技术水平基准。

本文旨在提出一种高效的端到端解决方案，用于SegEvery任务，旨在降低计算成本和冗余。同时，论文旨在验证Lite-SAM方案在性能和精度之间取得了最佳平衡。

本文的关键思路是提出了一种高性能轻量级骨干网络LiteViT和一种自动化的提示框和点生成方法AutoPPN。这些组件被整合到SAM框架中，以实现高效的端到端解决方案。

本文的亮点包括：1. 提出了高性能轻量级骨干网络LiteViT；2. 提出了自动化提示框和点生成方法AutoPPN；3. 在公共和私人数据集上进行了广泛的基准测试，并取得了优异的性能和精度；4. 在保持竞争力的同时，大大降低了参数数量。

与该领域的相关研究包括：SAM、MobileSAM、Edge-SAM、EfficientViT-SAM和MobileSAM-v2等。