Generation and Detection of Sign Language Deepfakes - A Linguistic and Visual Analysis

在深度伪造领域中，一个问题正在慢慢浮现，即我们是否可以超越面部深度伪造，以及这对社会是否有益。因此，这项研究提出了一种深度伪造技术的积极应用，即利用该技术生成上半身，同时为聋哑人士和听力有障碍的人士（DHoH）使用手语。随后，这些视频会接受手语专家的审查。考虑到手语的复杂性、手语专家的稀缺性以及对健康和教育的潜在好处，这尤其有帮助。该研究的目标包括构建一个可靠的深度伪造数据集，通过计算机视觉和自然语言处理模型评估其技术和视觉可信度，并评估生成内容的可信度。通过1200多个视频，涵盖了先前已见和未见过的个体用于生成模型，借助手语专家的帮助，我们建立了一个手语深度伪造数据集，可以进一步用于检测针对某些特定人群的伪造视频。

本论文旨在探讨深度伪造技术在手语视频生成方面的应用，以帮助聋人和听力有障碍的人群。研究试图解决手语视频生成的可靠性和可信度问题，并为这个领域提供一个可靠的数据集。

论文提出了一种使用深度学习技术生成手语视频的方法，并在此基础上建立了一个可靠的数据集。同时，论文还使用计算机视觉和自然语言处理模型评估了生成视频的可信度和技术可靠性。

论文使用大量数据集，包括1200多个视频，以及手语专家的帮助来建立一个可靠的手语深度伪造数据集。论文还提出了一种使用深度伪造技术来帮助聋人和听力有障碍的人群的新颖应用。实验结果表明，生成的视频质量较高，且技术可靠性较高。

在这个领域中，还有一些相关的研究被进行。例如，一些研究探讨了使用深度学习技术生成人类动作的应用，而另一些研究则探讨了使用深度伪造技术来生成面部表情。