rFaceNet: An End-to-End Network for Enhanced Physiological Signal Extraction through Identity-Specific Facial Contours

这篇摘要介绍了一种名为远程光电容积描记术（rPPG）的技术，它可以从视频帧中微小的像素变化中提取出血容量脉搏（BVP）信号。本研究提出了一种先进的rPPG方法rFaceNet，它专注于面部轮廓，增强了对面部BVP信号的提取。rFaceNet集成了身份特定的面部轮廓信息，并消除了冗余数据。它通过时间归一化帧输入从中高效地提取面部轮廓，使用交叉任务特征组合器（CTFC）将模型聚焦于相关的面部区域。通过精心的训练，rFaceNet提取的面部生理信号的质量和可解释性大大提高，比以前的方法更好。此外，我们的新方法在各种心率估计基准测试中表现出比SOTA方法更优异的性能。

本论文试图提出一种新的远程血容量脉搏（rPPG）技术，以更好地提取面部BVP信号，并在心率估计基准测试中展现卓越性能。

rFaceNet是一种高级rPPG方法，它通过引入身份特定的面部轮廓信息和消除冗余数据，有效地从时间上标准化的帧输入中提取面部轮廓，并通过交叉任务特征组合器（CTFC）引导模型关注相关的面部区域，从而提高了面部生理信号的质量和可解释性。

论文通过实验表明，rFaceNet在各种心率估计基准测试中表现出比现有方法更好的性能，并且提取的面部生理信号质量和可解释性也得到了显著提高。此外，论文还使用了多个数据集进行实验，并开源了代码。

在最近的相关研究中，还有一些关于rPPG技术的研究，例如“Remote PPG: A Comprehensive Survey”，“Remote Heart Rate Measurement Based on Multiscale Convolutional Neural Network”，“Deep Physiological Sensing for Multi-Person Imaging of Spontaneous Affect”。