S3Editor: A Sparse Semantic-Disentangled Self-Training Framework for Face Video Editing

面部属性编辑在各种应用中都发挥着关键作用。然而，现有方法在保留身份、编辑忠实度和时间一致性方面取得高质量结果时面临挑战。这些挑战源于与训练流程相关的问题，包括有限的监督、架构设计和优化策略。在本文中，我们介绍了S3Editor，一种用于面部视频编辑的稀疏语义解耦自训练框架。S3Editor是一个通用解决方案，全面解决了这些挑战，并具有三个关键贡献。首先，S3Editor采用自我训练范式，通过半监督来增强训练过程。其次，我们提出了一种语义解耦架构，具有动态路由机制，以适应多样化的编辑要求。第三，我们提出了一种结构化稀疏优化模式，以识别和停用恶意神经元，进一步解耦非目标属性的影响。S3Editor是模型无关的，并兼容各种编辑方法。我们广泛的定性和定量结果证实，我们的方法显著提高了身份保护、编辑忠实度以及时间一致性。

论文旨在解决人脸属性编辑中存在的身份保留、编辑准确度和时间一致性等问题，并提出了一种新的解决方案。

S3Editor是一种稀疏语义解耦自训练框架，采用自训练范式通过半监督学习增强训练过程，提出了一种语义解耦架构和动态路由机制，以适应不同的编辑需求，并提出了一种结构化稀疏优化模式，以进一步解耦非目标属性的影响。

论文采用了自训练和语义解耦架构等新颖的思路，通过大量的定性和定量实验验证了该方法的有效性和优越性。论文还使用了多个数据集进行实验，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，如：《Towards High-Fidelity Face Manipulation Generation with Progressive Structural Perceptual and Adversarial Learning》、《FaceShifter: Towards High Fidelity And Occlusion-aware Face Swapping》等。