Leveraging Foundation Model Automatic Data Augmentation Strategies and Skeletal Points for Hands Action Recognition in Industrial Assembly Lines

在现代工业生产线上，许多智能算法已经被开发出来以取代或监督工人。然而，我们发现在实际应用算法于生产线时，训练数据集和实时性能都存在瓶颈。因此，我们开发了一种有前途的扩展工业数据集的策略，利用具有强大泛化能力的大型模型来实现高效、高质量和大规模的数据集扩展，解决了工业数据集不足和低质量的问题。我们还将这种策略应用于视频动作识别。我们提出了一种将手部动作识别问题转化为手部骨架轨迹分类问题的方法，解决了工业算法实时性能问题。在实际生产线上的“线缆插入过程中的手部动作”场景中，手部动作识别的准确率达到了98.8％。我们进行了详细的实验分析，证明了该方法的有效性和优越性，并将整个过程部署在美的的实际生产线上。

扩展工业数据集的不足和低质量问题，以及工业算法实时性问题。

利用具有强大泛化能力的大型模型实现高效、高质量、大规模的数据集扩展，解决工业数据集不足和低质量问题；将手部动作识别问题转化为手部骨架轨迹分类问题，解决工业算法实时性问题。

实验结果表明，该方法在实际工业生产线上的应用中具有高精度和高效性；论文提出的数据集扩展策略可以为解决工业数据集不足和低质量问题提供新思路；论文还提出了将手部动作识别问题转化为手部骨架轨迹分类问题的方法，这为解决工业算法实时性问题提供了新的思路。

近期在工业智能算法领域的相关研究包括：1. “Intelligent industrial assembly line monitoring based on computer vision and deep learning”；2. “A review of computer vision-based defect detection and quality evaluation in non-rigid materials”；3. “Real-time object detection on the edge with the Coral USB accelerator”等。