Unmasking Illusions: Understanding Human Perception of Audiovisual Deepfakes

当代Deepfake的出现引起了机器学习研究的重视，因为人工智能生成的合成媒体增加了误解的发生，并且很难与真实内容区分开来。目前，机器学习技术已被广泛研究用于自动检测Deepfake。然而，人类感知能力的研究较少。恶意Deepfake最终可能引起公共和社会问题。我们人类能否正确地感知我们观看的视频内容的真实性？答案显然不确定；因此，本文旨在通过主观研究评估人类辨别Deepfake视频的能力。我们通过将人类观察者与五种最先进的视听Deepfake检测模型进行比较，来展示我们的发现。为此，我们使用游戏化概念为110名参与者（55名母语为英语的人和55名非母语为英语的人）提供了一个基于Web的平台，让他们可以访问一系列40个视频（20个真实的和20个虚假的）来确定它们的真实性。每个参与者用不同的随机顺序两次执行相同的40个视频实验。这些视频是手动从FakeAVCeleb数据集中选择的。我们发现，在评估相同的40个视频时，所有AI模型的表现都比人类好。该研究还揭示了虽然欺骗并非不可能，但人类倾向于高估其检测能力。我们的实验结果可能有助于评估人类与机器的表现，推进取证分析，并实现自适应对策。

论文旨在评估人类对深度伪造视频真实性的感知能力，并将其与五种最先进的视听深度伪造检测模型进行比较，以确定人类和机器的表现差异。

通过对110名参与者进行主观研究，使用游戏化概念提供了一个基于Web的平台，让他们能够访问一系列40个视频（20个真实和20个伪造）来确定它们的真实性。结果发现，当评估相同的40个视频时，所有AI模型的表现都优于人类。

实验采用了FakeAVCeleb数据集，每个参与者进行了两次实验，结果表明，虽然欺骗并非不可能，但人类往往高估了他们的检测能力。该研究的实验结果可以帮助人类与机器的表现进行基准测试，推进取证分析，并实现自适应对策。

与此相关的研究包括：《Deepfake Video Detection Using Recurrent Neural Networks》、《A Survey of Deepfake Video Detection Techniques》等。