Rethinking Voice-Face Correlation: A Geometry View

Xiang Li, Yandong Wen, Muqiao Yang, Jinglu Wang, Rita Singh, Bhiksha Raj
[CMU & Max Planck Institute & Microsoft]

重新思考声音和人脸相关性：几何视角

  • 动机：之前的研究在声音-人脸匹配和声音引导的人脸合成中展示了声音和人脸之间的强相关性，但主要依赖于性别、年龄和情绪等粗糙的语义线索。本文从几何角度探究从声音中重建3D人脸形状的能力，无需任何语义信息。
  • 方法：提出一种声音-人体测量(AM)-人脸范式，旨在从纯几何角度重构声音中的3D人脸形状。通过识别可预测的人脸AM，并使用其引导3D人脸重建，利用AM作为声音和人脸几何之间的中间变量，可以消除不可预测的AM的影响，使人脸几何可处理。
  • 优势：通过几何视角重新思考声音-人脸相关性，提出一种新的声音-人脸范式，并发现声音与人脸特定部位(如鼻腔和颅骨)的几何之间存在显著相关性。该方法消除了不可预测的AM的影响，为声音-人脸研究提供了新的视角，对人体测量学科具有重要价值。

通过几何视角探索声音-人脸相关性，提出了声音-人体测量(AM)-人脸范式，并发现了显著的声音与人脸特定部位的几何相关性。

https://arxiv.org/abs/2307.13948 


图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除