Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection

估计基于3D姿态的异常姿势在人体姿势分析中至关重要，但是它也面临着挑战，尤其是在从有遮挡的单目数据集中重建3D人体姿势时。准确的重建可以恢复3D运动，有助于提取分析异常行为所必需的语义细节。然而，大多数现有方法依赖于预定义的关键点作为估计遮挡关节坐标的基础，数据质量的变化会对这些模型的性能产生不利影响。在本文中，我们提出了OAD2D，它基于从单目视频中重建网格顶点和人体关节的3D坐标来区分运动异常。OAD2D使用光流来捕捉视频流中的运动先验信息，丰富遮挡的人体运动信息，并确保姿势的时空对齐。此外，我们通过将运动特征量化为文本特征的方式，将异常姿态估计与Motion to Text（M2T）模型相结合。这种方法将运动令牌映射到文本令牌，允许对运动进行语义可解释的分析，并通过语言模型增强了异常姿态检测的泛化能力。我们的方法通过在Human3.6M、3DPW和NTU RGB+D数据集上的验证，证明了对严重和自遮挡异常行为的鲁棒性，因为它在全局坐标中重建人体运动轨迹以有效缓解遮挡问题。在NTU RGB+D数据集上，我们的方法在医学状况检测方面取得了高达0.94的$F_1-$得分。我们将公开我们的所有代码和数据。

本文旨在解决从单眼数据集中重建3D人体姿态并检测异常姿态的问题，尤其是在存在遮挡的情况下。

本文提出了OAD2D方法，利用光流捕捉视频流中的动作先验信息，重建网格顶点和人体关节的3D坐标，并将异常姿态估计与M2T模型相结合，利用VQVAE将运动特征量化，将运动标记映射到文本标记，从而实现对运动的语义可解释性分析，增强了异常姿态检测的泛化能力。

本文方法在Human3.6M、3DPW和NTU RGB+D数据集上进行验证，对于医疗条件检测，NTU RGB+D数据集上实现了高达0.94的F1得分。同时，本文将发布所有代码和数据。

与此相关的最近研究包括：'3D人体姿态估计：从单目图像到深度网络'、'单人3D姿态估计：一项综合调查'、'基于深度学习的3D人体姿态估计：进展与挑战'等。