SiNC+: Adaptive Camera-Based Vitals with Unsupervised Learning of Periodic Signals

通过RGB视频，可以提取微妙的周期信号，如血容量脉搏和呼吸，从而实现低成本的非接触式健康监测。远程脉搏估计或远程光电容积图(rPPG)的进展目前由深度学习解决方案推动。然而，现代方法是在具有接触式PPG传感器地面真实数据集上进行训练和评估的。我们提出了第一个非对比无监督学习框架，用于信号回归，以减轻标记视频数据的需要。在周期性和有限带宽的最小假设下，我们的方法直接从未标记的视频中发现血容量脉搏。我们发现，在正常生理带宽范围内鼓励稀疏功率谱和批次功率谱的方差足以学习周期信号的视觉特征。我们进行了第一次实验，利用未专门为rPPG创建的未标记视频数据来训练稳健的脉率估计器。鉴于有限的归纳偏差，我们成功地将相同的方法应用于基于摄像头的呼吸，通过更改目标信号的带宽限制。这表明该方法足够通用，可以从不同领域的未监督学习有限带宽准周期信号。此外，我们还展示了该框架对于在未标记的单个主体视频上微调模型是有效的，从而实现了个性化和自适应信号回归器。

本论文旨在解决无需标记的视频数据中提取血容量脉搏和呼吸等周期信号的问题，以实现低成本的非接触式健康监测。

该论文提出了一种基于无监督学习的信号回归框架，通过鼓励正常生理频带内的稀疏功率谱和批次功率谱的方差来发现未标记视频中的血容量脉搏。该方法不需要标记数据，具有较强的泛化能力，可以用于不同领域的带限准周期信号的无监督学习。

论文通过实验验证了该方法在不同数据集和不同信号类型下的有效性，并且可以用于个性化和自适应信号回归。此外，该方法还可以用于基于相机的呼吸信号的提取。论文使用的是未经特殊处理的视频数据，这意味着该方法可以应用于实际场景中的视频数据。论文还提供了开源代码。

在最近的相关研究中，也有许多关于无监督学习信号回归的工作。例如，Li等人提出了一种基于自编码器的方法来提取心率信号。Wang等人提出了一种基于聚类的方法来提取脉搏信号。但是，这些方法都需要标记数据或特定领域的数据集，而本论文提出的方法可以处理未标记的视频数据，并具有较强的泛化能力。