Fully Test-Time rPPG Estimation via Synthetic Signal-Guided Feature Learning

许多远程光电容积脉搏图(rPPG)估计模型在训练领域取得了良好的表现，但往往无法在测试领域测量生理信号或心率(HR)。因此，在离线训练阶段采用领域泛化(DG)或领域自适应(DA)技术，通过参考所有可用的源域数据来使模型适应未观察到或观察到的测试域。然而，在rPPG估计问题中，适应的模型通常面临着估计具有各种域信息的目标数据的挑战，例如不同的视频捕捉设置，不同年龄范围的个体或不同的HR分布。相反，测试时间自适应(TTA)通过在线适应未标记的目标数据，而不参考任何源数据，使模型能够自适应地估计各种未见过的域的rPPG信号。在本文中，我们首先提出了一个新的TTA-rPPG基准，它包括各种域信息和HR分布，以模拟rPPG估计中遇到的挑战。接下来，我们提出了一种新的合成信号引导的rPPG估计框架，具有两个目的。首先，我们设计了一种有效的基于频谱的熵最小化方法，以强制rPPG模型学习新的目标域信息。其次，我们开发了一种合成信号引导的特征学习方法，通过合成伪rPPG信号作为伪基准来引导条件生成器生成潜在的rPPG特征。合成的rPPG信号和生成的rPPG特征用于引导rPPG模型广泛覆盖各种HR分布。我们在TTA-rPPG基准上进行了广泛的实验，结果显示所提出的方法在大多数TTA-rPPG基准协议中均取得了优越的性能，并且优于先前的DG和DA方法。

本文试图解决远程光电测量（rPPG）模型在测试领域中无法测量生理信号或心率的问题，提出了一种在线自适应方法Test-Time Adaptation (TTA)。

本文提出了一种基于合成信号引导的rPPG估计框架，通过合成伪rPPG信号作为伪基准，引导条件生成器生成潜在的rPPG特征，用于引导rPPG模型广泛覆盖各种心率分布。

本文设计了一种有效的基于频谱的熵最小化方法来强制rPPG模型学习新的目标域信息，提出了一种合成信号引导的特征学习方法，实验结果表明该方法在TTA-rPPG基准测试中表现优异。

最近的相关研究包括迁移学习和领域自适应方法，如迁移对抗网络（TAN）和多任务学习（MTL），以及基于深度学习的rPPG估计方法，如3D CNN和LSTM。