The impact of differences in facial features between real speakers and 3D face models on synthesized lip motions

唇部运动的准确性对于语音可懂度非常重要，尤其是对于听力障碍者或第二语言学习者。在游戏和电影制作行业中，还需要高度逼真的唇部运动。三维可塑模型（3DMMs）已广泛用于面部分析和动画制作。然而，可能影响它们在面部动画中使用的因素，例如记录的真实面部和动画合成面部之间的差异，尚未得到充分关注。本文研究了真实说话者与相似和非相似的3DMM之间的映射以及对生成的3D唇部运动的影响。口高和口宽用于确定面部相似性。结果表明，将低口高的真实说话者的2D视频映射到对应于高口高的真实说话者的3D头部，或反之亦然，会生成较差的3D唇部运动。因此，在使用真实演员的唇部运动的2D记录来控制3D合成角色时，考虑到这种不匹配非常重要。

研究3D人脸模型在口型准确性方面的应用问题，探究真实人脸与合成人脸之间的差异对口型动画效果的影响。

通过比较真实人脸与合成人脸的相似性，确定合适的3D人脸模型，以提高合成人脸的口型动画效果。

论文使用2D视频数据和3D人脸模型进行实验，探究真实人脸与合成人脸之间的差异对口型动画效果的影响。结果表明，匹配不当会导致3D口型动画效果不佳，因此需要考虑这种不匹配的情况。

相关研究包括：1. 3D人脸建模技术的发展；2. 基于2D视频数据的3D人脸动画技术；3. 口型动画在游戏和电影制作中的应用。