HyDiscGAN: A Hybrid Distributed cGAN for Audio-Visual Privacy Preservation in Multimodal Sentiment Analysis

多模态情感分析（MSA）旨在识别多模态视频内容中说话者的情感倾向，引发了与多模态数据（如语音特征和面部图像）相关的隐私风险的严重关切。最近，分布式协作学习已被证明是多模态任务隐私保护的有效范例。然而，它们经常忽视不同模态之间的隐私差异，难以在性能和隐私保护之间取得平衡。因此，这引出了一个有趣的问题，即如何在保护必要模态的同时最大化多模态利用以提高性能。本文是首次尝试在MSA任务中进行模态特定（即音频和视觉）隐私保护。我们提出了一种新颖的混合分布式跨模态cGAN框架（HyDiscGAN），它学习多模态对齐，生成以可共享的去标识化文本数据为条件的假音频和视觉特征。其目标是利用假特征来近似真实的音频和视觉内容，以保证隐私保护的同时有效提高性能。广泛的实验表明，与最先进的MSA模型相比，HyDiscGAN在保护隐私的同时可以实现更优越或竞争性的性能。

本文旨在解决多模态情感分析中隐私泄露的问题，提出了一种跨模态的隐私保护框架。

本文提出了一种基于HyDiscGAN的框架，通过生成假音频和视觉特征来保护隐私，同时保持性能。

实验结果表明，HyDiscGAN能够在保护隐私的同时提高多模态情感分析的性能。该框架的亮点包括跨模态的隐私保护和生成假特征的方法。

最近的相关研究包括《Differentially Private Multi-Task Learning》、《Privacy-Preserving Multi-Task Learning with Feature Agglomeration》等。