KAN or MLP: A Fairer Comparison

本文并未介绍一种新的方法，而是在包括机器学习、计算机视觉、音频处理、自然语言处理和符号公式表示在内的多个任务中，提供了更公平和全面的KAN和MLP模型的比较。具体而言，我们控制参数数量和FLOPs来比较KAN和MLP的性能。我们的主要观察是，除了符号公式表示任务外，MLP通常优于KAN。我们还对KAN进行了消融研究，并发现其在符号公式表示方面的优势主要来自其B样条激活函数。当B样条应用于MLP时，在符号公式表示方面的性能显著提高，超过或与KAN相匹配。然而，在MLP已经优于KAN的其他任务中，B样条并没有显著提高MLP的性能。此外，我们发现，在标准的类增量连续学习设置中，KAN的遗忘问题比MLP更严重，这与KAN论文中的发现不同。我们希望这些结果为未来KAN和其他MLP替代方案的研究提供启示。项目链接：https://github.com/yu-rp/KANbeFair

比较KAN和MLP模型在不同任务上的性能，控制参数数量和FLOPs进行公正全面的比较，研究KAN的优劣和存在的问题。

通过对KAN和MLP模型在各种任务上的比较，发现除了符号公式表示任务外，MLP通常优于KAN。同时，通过对KAN的剖析，发现其优势主要在于B-spline激活函数，将其应用到MLP上可以显著提高符号公式表示的性能。此外，在标准的增量连续学习设置中，KAN的遗忘问题比MLP更严重。

实验控制参数数量和FLOPs进行公正比较，发现MLP通常优于KAN；通过对KAN的剖析，发现B-spline激活函数是其优势所在；在符号公式表示任务上，KAN的性能优于MLP，但在其他任务上，MLP表现更好；研究发现，KAN的遗忘问题比MLP更严重；开源代码链接：https://github.com/yu-rp/KANbeFair。

近期相关研究包括：KAN模型原论文、MLP模型相关研究、增量连续学习领域的其他研究。