RhythmMamba: Fast Remote Physiological Measurement with Arbitrary Length Videos

远程光电容积描记术（rPPG）是一种从面部视频中检测生理信号的非接触式方法，具有在医疗保健、情感计算和反欺诈等各种应用方面的巨大潜力。现有的深度学习方法难以同时解决rPPG的两个核心问题：从具有大量时空冗余的视频片段中提取微弱的rPPG信号和理解rPPG在长时间范围内的周期模式。这代表了计算复杂度和捕捉长程依赖性之间的权衡，为适用于移动设备的rPPG提出了挑战。基于对Mamba对空间和时间信息的深入理解，本文介绍了一种基于Mamba的端到端方法RhythmMamba，该方法采用多时间Mamba来限制周期模式和短期趋势，结合频域前馈来使Mamba能够稳健地理解rPPG的准周期模式。广泛的实验表明，RhythmMamba在减少参数和降低计算复杂度的同时实现了最先进的性能。提出的RhythmMamba可以应用于任意长度的视频片段而不会降低性能。代码可在https://github.com/zizheng-guo/RhythmMamba上获得。

本论文试图解决远程光电测容（rPPG）在提取微弱信号和理解长期上下文中的周期性模式之间的平衡问题，以便在移动设备上部署。

本文提出了一种基于多时间尺度Mamba和频域前馈的端到端Mamba方法，以同时约束周期性模式和短期趋势，并能够稳健地理解rPPG的准周期模式。

本文提出的RhythmMamba在减少参数和计算复杂度的同时，实现了最先进的性能，并且可以应用于任意长度的视频段而不会降低性能。研究使用了公开数据集，并提供了开源代码。

近期相关研究包括：1. DeepPhys: Video-Based Physiological Measurement Using Convolutional Attention Networks; 2. Learning from Simulated and Unsupervised Images through Adversarial Training.