Faster Than Lies: Real-time Deepfake Detection using Binary Neural Networks

深度伪造检测旨在对抗破坏在线内容信任的深度生成媒体的传播。虽然现有方法侧重于大型和复杂的模型，但实时检测的需求要求更高的效率。考虑到这一点，与以前的工作不同，我们引入了一种新颖的基于二值神经网络（BNNs）的图像深度伪造检测方法，以实现快速推断并最小化准确度损失。此外，我们的方法还将快速傅里叶变换（FFT）和局部二值模式（LBP）作为附加通道特征，以揭示频率和纹理领域中的操纵痕迹。在COCOFake、DFFD和CIFAKE数据集上的评估表明，我们的方法在大多数情况下表现出最先进的性能，并在推断过程中实现了高达20倍的FLOPs效率提高。最后，通过在深度伪造检测中探索BNNs以平衡准确性和效率，本研究为未来的高效深度伪造检测研究铺平了道路。

本论文旨在解决深度伪造检测的实时性和效率问题，提出了一种基于二值神经网络和FFT/LBP的新方法，并在多个数据集上进行了实验验证。

论文的关键思路是使用二值神经网络进行快速推断，并使用FFT/LBP作为额外的频率和纹理特征通道，以检测图像深度伪造。相比现有的方法，该方法在保持准确率的同时实现了显著的效率提升。

本论文的亮点包括使用二值神经网络实现快速推断，使用FFT/LBP作为额外的特征通道，以及在多个数据集上验证了该方法的有效性。此外，论文还提供了开源代码，为未来研究提供了方便。

最近的相关研究包括“DeepFake Detection Using Recurrent Neural Networks”和“EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks”。