MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection

Deepfakes最近在公众中引起了重大的信任问题和安全问题。与CNN人脸伪造检测器相比，基于ViT的方法利用变形器的表达能力，实现了更优越的检测性能。然而，这些方法仍然存在以下限制：(1)从ImageNet权重完全微调ViT模型需要大量的计算和存储资源；(2)ViT方法难以捕捉本地伪造线索，导致模型偏见和有限的普适性。为了解决这些挑战，本文引入了用于人脸伪造检测的专家混合模块(MoE-FFD)，这是一种通用但参数高效的基于ViT的方法。MoE-FFD仅更新轻量级的低秩适应(LoRA)和适配器层，同时保持ViT主干冻结，从而实现参数高效的训练。此外，MoE-FFD利用变形器的表达能力和CNN的本地先验同时提取全局和本地的伪造线索。此外，设计了新的MoE模块来扩展模型的容量和选择最佳的伪造专家，进一步增强了伪造检测性能。所提出的MoE学习方案可以轻松地以插入式方式适应各种变形器主干。广泛的实验结果表明，所提出的方法在减少参数开销的同时实现了最先进的人脸伪造检测性能。代码将在接受后发布。

本论文旨在解决Deepfakes技术带来的信任和安全问题，提出一种新的基于Mixture-of-Experts模块的ViT-based方法，以提高人脸伪造检测的性能。

该论文提出了一种基于Mixture-of-Experts模块的ViT-based方法，称为MoE-FFD，通过仅更新轻量级的Low-Rank Adaptation (LoRA)和Adapter层，同时利用transformers的表达能力和CNNs的本地先验知识，从而提高模型的参数效率和检测性能。MoE学习方案可以轻松适应各种transformer骨干网络。

该论文的亮点包括：（1）提出了一种新的基于Mixture-of-Experts模块的ViT-based方法，名为MoE-FFD，以提高人脸伪造检测性能；（2）通过仅更新轻量级的LoRA和Adapter层，实现了参数效率；（3）利用transformers的表达能力和CNNs的本地先验知识，同时提取全局和局部伪造线索；（4）设计了新的MoE模块来扩展模型的容量和选择最优的伪造专家。

在这个领域中，最近的相关研究包括：《Deep Video Portraits》、《Towards Automatic Face-to-Face Translation》、《Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion》等。